Edge AI (bzw. ein Edge-Modell) bezeichnet die Ausführung von KI-Modellen lokal auf Endgeräten, Industriesteuerungen oder Sensoren am Netzwerkrand ohne Umweg über zentrale Cloud-Server.
Erklärung
Weil Kamerabilder, Audiosignale oder Maschinendaten direkt auf dem Gerät ausgewertet werden (On-Device-Inferenz), entfallen Netzwerk-Roundtrips in ein Rechenzentrum. Das verkürzt die Antwortzeit auf wenige Millisekunden, spart Leitungsbandbreite und hält Systeme in Werkshallen, Fahrzeugen oder Medizingeräten auch bei unterbrochener Internetverbindung betriebsfähig. Zugleich verbleiben vertrauliche Rohdaten lokal auf der Hardware, was Datenschutzvorgaben erleichtert. Da Endgeräte über begrenzten Arbeitsspeicher und enge Energiebudgets verfügen, werden Edge-Modelle vor dem Einsatz meist durch Quantisierung (etwa von 16-Bit- auf 4- oder 8-Bit-Gewichte), Pruning oder Wissensdestillation verkleinert und für spezialisierte Beschleuniger wie NPUs kompiliert. Dem stehen eine geringere Modellkapazität im Vergleich zu großen Cloud-Modellen sowie der Wartungsaufwand für verteilte Modell-Updates über viele Geräte gegenüber.