Was bedeutet Large Language Model?

Ein Large Language Model (LLM) ist ein Sprachmodell mit mehreren Milliarden Parametern, das Text fortsetzt, indem es jeweils das nächste Token vorhersagt und anfügt. Trainiert wird es auf sehr großen Textmengen, ohne dass die späteren Aufgaben dabei feststehen. Gespeichert sind keine Dokumente im Wortlaut, sondern statistische Zusammenhänge zwischen Zeichenfolgen. Daher stammt auch die Bezeichnung Sprachmodell.

Die Transformer-Architektur setzt jedes Token in Bezug zu allen anderen im Kontext und gewichtet diese Bezüge über Selbstaufmerksamkeit. Auf das Vortraining folgen zwei Schritte: eine Anpassung an Beispielaufgaben und eine Ausrichtung an menschlichen Bewertungen. Das Kontextfenster begrenzt, wie viel Text ein Modell gleichzeitig berücksichtigt, heute meist zwischen 8.000 und mehreren hunderttausend Token. Modelle mit offenen Gewichten lassen sich herunterladen und selbst betreiben, geschlossene Modelle nur über die Schnittstelle des Anbieters.

Ein LLM lohnt sich dort, wo Sprache das Arbeitsmaterial ist und die Aufgaben von Fall zu Fall wechseln. Typische Aufgaben sind Zusammenfassungen, Übersetzungen, Fragen zu eigenen Dokumenten und die Umwandlung von Freitext in strukturierte Felder. Für Rechenaufgaben und exakte Nachschlagevorgänge bleiben Fachanwendungen und Datenbanken zuverlässiger.

Der Vorteil gegenüber spezialisierten Modellen liegt darin, dass ein einziges Modell viele Aufgaben abdeckt und ohne Training auskommt. Die Bedienung erfolgt in normaler Sprache, sodass Beschäftigte ohne technische Vorkenntnisse damit arbeiten. Bestehende Fachverfahren bleiben dabei unangetastet, weil das Modell daneben und nicht darin läuft.

Ein LLM kennt nur das, was zum Zeitpunkt seines Trainings vorlag, und ergänzt Fehlendes durch plausibel klingende Erfindungen. Für aktuelle und hausinterne Inhalte braucht es deshalb einen gesteuerten Zugriff auf geprüfte Quellen zur Laufzeit, meist über eine angebundene Dokumentensuche.