Was bedeutet Edge AI?

Edge AI bezeichnet den Betrieb von KI-Modellen direkt auf dem Gerät, an dem die Daten entstehen, statt in einem entfernten Rechenzentrum. Kamera, Sensor oder Maschinensteuerung werten die Daten selbst aus und geben nur das Ergebnis weiter. Der Unterschied zur Verarbeitung in der Cloud liegt darin, dass die Rohdaten das Gerät nie verlassen und keine dauerhafte Netzverbindung nötig ist.

Damit ein Modell auf begrenzter Hardware läuft, wird es vorher verkleinert. Quantisierung senkt die Rechengenauigkeit der Gewichte von 32 auf 8 Bit, und Pruning entfernt Verbindungen ohne nennenswerten Beitrag. Distillation überträgt das Verhalten eines großen Modells auf ein kleines. Ausgeführt wird das Ergebnis über Laufzeitumgebungen wie ONNX Runtime oder TensorFlow Lite, häufig auf einem eigenen Beschleuniger im Gerät. Das Training selbst findet weiterhin zentral statt.

Edge AI lohnt sich dort, wo laufend große Datenmengen anfallen, von denen nur ein kleines Ergebnis gebraucht wird. Eingesetzt wird das etwa zur Zählung im Straßenverkehr, zur Sichtprüfung an der Fertigungslinie und zur Spracherkennung in Geräten ohne Internetanschluss. Wo Modelle häufig wechseln oder viel Rechenleistung brauchen, bleibt der zentrale Betrieb sinnvoller.

Der Vorteil gegenüber dem Versand aller Rohdaten liegt in der übertragenen Datenmenge. Statt eines durchgehenden Videostroms wandern nur wenige Zahlen je Stunde ins Netz, weshalb auch eine schmale Mobilfunkverbindung genügt. Bricht sie ab, läuft die Auswertung im Gerät weiter.

Edge AI verlangt einen Plan für Aktualisierungen, denn Modelle auf verteilten Geräten veralten und jedes Gerät braucht eine nachvollziehbare Versionsangabe. Stehen Geräte im öffentlichen Raum, gehören Standort, Zweck und Aufbewahrungsdauer in das Verzeichnis der Verarbeitungstätigkeiten, wie bei jeder anderen Verarbeitung auch.