Was bedeutet Model Drift?

Model Drift bezeichnet den Verlust an Treffsicherheit eines Modells im laufenden Betrieb, weil sich die Wirklichkeit nach und nach von den Trainingsdaten entfernt. Das Modell selbst bleibt dabei unverändert, seine Umgebung nicht. Anders als ein Programmfehler tritt Drift schleichend auf und wird ohne laufende Messung erst nach Monaten bemerkt, meist über Beschwerden aus der Fachabteilung.

Unterschieden werden zwei Formen. Data Drift beschreibt eine veränderte Verteilung der Eingaben, etwa nach einer Gebietsreform oder der Einführung eines neuen Formulars. Concept Drift meint eine veränderte Beziehung zwischen Eingabe und Ergebnis, etwa nach einer Gesetzesänderung. Erkennen lässt sich beides über den Vergleich der aktuellen Eingabeverteilung mit der des Trainings, statistisch etwa mit dem Kolmogorov-Smirnov-Test. Hinzu kommt die Fehlerrate an nachträglich bekannten Ergebnissen.

Die Frage nach Drift stellt sich bei jedem Modell, das länger als ein paar Monate im Einsatz ist. Besonders schnell veraltet ein Modell in Bereichen mit häufigen Regeländerungen, etwa bei Förderprogrammen, Preisen, Zuständigkeiten oder Meldepflichten. Bei physikalischen Zusammenhängen wie dem Verschleiß eines Bauteils bleibt der gelernte Zusammenhang dagegen über Jahre stabil.

Der Vorteil einer festen Messgröße gegenüber gelegentlichen Stichproben liegt im Zeitpunkt der Entdeckung. Wer die Fehlerrate monatlich auswertet, erkennt einen Anstieg, bevor die ersten Beschwerden eintreffen. Aus der Art der Abweichung ergibt sich zudem, ob ein Nachtraining mit neuen Daten ausreicht oder das Verfahren selbst überholt ist.

Drift-Überwachung wirkt nur mit drei Festlegungen: einer Messgröße, einer Schwelle und einer benannten Person, die bei Überschreitung handelt. Fehlt eine davon, läuft ein Modell unbemerkt weiter, auch wenn seine Vorhersagen längst danebenliegen und Entscheidungen darauf beruhen.