Was bedeutet Fine Tuning?

Fine Tuning bezeichnet das Weitertrainieren eines bereits vortrainierten Modells auf einem eigenen, deutlich kleineren Datensatz. Verändert werden dabei die Gewichte des Modells, also die Zahlenwerte, die festlegen, wie stark ein Eingangssignal das Ergebnis beeinflusst. Vom Prompting unterscheidet sich Fine Tuning darin, dass es das Modell dauerhaft verändert und nicht nur dessen Eingabe.

Ein Modell mit acht Milliarden Parametern enthält ebenso viele solcher Gewichte. Beim vollständigen Fine Tuning werden alle angepasst, was Rechenleistung und Speicher in der Größenordnung des ursprünglichen Trainings erfordert. Verbreiteter sind Verfahren wie LoRA: Sie lassen das Grundmodell unverändert und trainieren nur kleine Zusatzmatrizen, was den Bedarf auf einen Bruchteil senkt. Trainiert wird auf Paaren aus Eingabe und gewünschter Ausgabe, meist einige hundert bis wenige tausend.

Fine Tuning lohnt sich dort, wo ein Modell ein festes Format, einen bestimmten Ton oder eine feste Einteilung treffen soll und Beispiele dafür bereits vorliegen. Typische Fälle sind das Schreiben in einer festgelegten Hausform, die Erkennung fachspezifischer Begriffe und die Einordnung in eine feste Kategorienliste. Für aktuelles Sachwissen ist es der falsche Weg.

Der Vorteil gegenüber ausführlichen Anweisungen im Prompt liegt in der Länge der Eingabe. Format und Wortwahl stecken nach dem Training im Modell und müssen nicht bei jedem Aufruf mitgeschickt werden. Ein kleineres, feinjustiertes Modell erreicht damit häufig die Qualität eines deutlich größeren.

Neues Fachwissen bringt Fine Tuning nicht in das Modell, dafür ist der Zugriff auf geprüfte Quellen zur Laufzeit gedacht. Jede angepasste Modellversion braucht eine eigene Kennung, damit sich später nachvollziehen lässt, welche Version eine bestimmte Ausgabe erzeugt hat.