Was bedeutet Zero-shot Learning (ZSL)?

Zero-shot Learning bezeichnet die Fähigkeit eines Modells, eine Aufgabe zu lösen, für die es kein einziges Trainingsbeispiel gesehen hat. Statt Beispielen bekommt es eine Beschreibung der gesuchten Kategorien, etwa als Liste möglicher Antworten. Beim Few-shot Learning liegen dagegen einige wenige Beispiele bei, beim klassischen Training viele hundert.

Möglich wird das durch den gemeinsamen Bedeutungsraum, den große Modelle im Vortraining aufbauen. Eine unbekannte Kategorie wird über ihre Beschreibung mit bereits gelernten Begriffen in Verbindung gebracht, sodass das Modell die Nähe berechnen kann. Bei Sprachmodellen genügt dafür die Anweisung im Prompt, etwa die Aufzählung der zulässigen Kategorien mit je einem erklärenden Halbsatz. Die Genauigkeit hängt daran, wie eindeutig diese Beschreibungen formuliert sind.

Zero-shot Learning lohnt sich dort, wo eine neue Einteilung gebraucht wird und noch keine zugeordneten Daten vorliegen. Das reicht von der Erschließung eines neuen Themenbereichs über kurzfristige Sonderauswertungen bis zur Vorsortierung eines Bestands, aus dem später Trainingsdaten entstehen. Bei fachfremden Begriffen aus einer engen Domäne sinkt die Trefferquote deutlich.

Der Vorteil gegenüber einem eigenen Training liegt im Startzeitpunkt. Eine neue Kategorie ist innerhalb von Minuten einsatzbereit, weil nur die Beschreibung ergänzt wird und keine Beispiele annotiert werden müssen. Änderungen an der Einteilung kosten entsprechend wenig.

Die Güte schwankt zwischen den Kategorien stärker als bei einem trainierten Modell. Deshalb wird an einer Stichprobe von einigen hundert von Hand geprüften Fällen gemessen, wie gut jede einzelne Kategorie getroffen wird, bevor das Verfahren in den Regelbetrieb geht.