Was bedeutet Transfer Learning?

Transfer Learning bezeichnet die Wiederverwendung eines Modells, das bereits auf einer großen Datenmenge trainiert wurde, für eine neue Aufgabe. Die unteren Schichten bleiben dabei erhalten, weil sie allgemeine Merkmale wie Kanten, Formen oder Wortbedeutungen erkennen und diese in jedem Anwendungsfall gebraucht werden. Neu trainiert werden nur die oberen Schichten, die auf die konkrete Aufgabe zugeschnitten sind.

Ausgangspunkt ist ein vortrainiertes Modell, etwa ein Bildmodell aus ImageNet oder ein Sprachmodell aus einem großen Textbestand. Die unteren Schichten werden eingefroren, ihre Gewichte also von der weiteren Anpassung ausgenommen. Der obere Teil wird durch neue Schichten ersetzt und auf dem eigenen Datensatz trainiert, oft mit einigen hundert bis wenigen tausend Beispielen. Beim Fine Tuning werden anschließend auch die eingefrorenen Schichten mit kleiner Lernrate nachgeführt.

Transfer Learning lohnt sich dort, wo die eigene Datenmenge für ein Training von Grund auf zu klein ist. Beispiele sind die Erkennung eigener Bauteile im Bild, die Einordnung fachspezifischer Texte und die Auswertung medizinischer Aufnahmen. Unterscheidet sich die neue Aufgabe stark vom ursprünglichen Trainingsmaterial, sinkt der Gewinn deutlich.

Der Vorteil gegenüber einem Training von Grund auf liegt beim Bedarf an Daten und Rechenzeit. Statt Millionen Beispielen genügen einige hundert, und ein Durchlauf dauert Stunden statt Wochen. Damit wird ein eigenes Modell auch für Organisationen erreichbar, die weder große Datenbestände noch eigene Rechencluster haben.

Ein übernommenes Modell bringt die Eigenschaften seines ursprünglichen Trainings mit, einschließlich vorhandener Verzerrungen und Lücken. Herkunft, Lizenz und Trainingsgrundlage des Ausgangsmodells gehören deshalb in die Dokumentation des eigenen Systems. Bei Modellen aus offenen Sammlungen ist beides nicht immer angegeben.