Was bedeutet Inferenz?

Inferenz bezeichnet die Anwendung eines fertig trainierten Modells auf neue Daten. Das Modell rechnet eine Eingabe durch seine festen Gewichte und gibt eine Vorhersage, eine Einordnung oder einen erzeugten Text zurück. Anders als im Training verändert sich das Modell dabei nicht, weshalb Inferenz den laufenden Betrieb eines Modells beschreibt.

Technisch besteht Inferenz aus einem Durchlauf vorwärts durch das Netz, ohne Rückwärtsrechnung und ohne Anpassung der Gewichte. Der Rechenaufwand hängt an der Modellgröße und bei Sprachmodellen zusätzlich an der Länge der Eingabe. Laufzeitumgebungen wie ONNX Runtime oder vLLM verkürzen die Antwortzeit, indem sie Anfragen bündeln und bereits berechnete Zwischenergebnisse zwischenspeichern. Der Speicherbedarf im Betrieb bestimmt, welche Hardware ein Haus vorhalten muss.

Die Frage nach der Inferenz stellt sich, sobald ein Modell aus dem Versuch in den Regelbetrieb wechselt. Zu klären sind dann die erwartete Zahl der Anfragen je Stunde, die zulässige Antwortzeit und der Ort der Ausführung. Aus diesen drei Angaben ergibt sich, ob eigene Hardware, ein gemieteter Server oder ein externer Dienst passt.

Der Vorteil einer Planung nach der Spitzenlast liegt darin, dass die Antwortzeit auch dann hält, wenn viele Beschäftigte gleichzeitig arbeiten. Wer den Verlauf über den Tag kennt, kann Modellgröße und Hardware aufeinander abstimmen. Ein kleineres Modell mit kurzer Antwortzeit ist im Alltag oft brauchbarer als ein größeres mit spürbarer Verzögerung.

Die laufenden Kosten eines Modells entstehen in der Inferenz und nicht im einmaligen Training. Wo die Inferenz läuft, entscheidet außerdem darüber, welche Eingaben das eigene Haus verlassen: Bei einem externen Dienst wandert jede Anfrage zum Anbieter.