Was bedeutet Overfitting?

Overfitting bezeichnet die Überanpassung eines Modells an die Besonderheiten seiner Trainingsdaten. Das Modell lernt dabei neben der eigentlichen Regelmäßigkeit auch die Zufälligkeiten der konkreten Beispiele. Erkennbar wird das an der Lücke zwischen zwei Messwerten: Auf den Trainingsdaten bleibt die Güte hoch, auf zurückgehaltenen Testdaten fällt sie deutlich ab. Im Betrieb zeigt sich das als unzuverlässige Vorhersage.

Begünstigt wird Overfitting durch zu viele Parameter im Verhältnis zur Datenmenge und durch ein zu lang laufendes Training. Als Gegenmittel bestraft die Regularisierung große Gewichte. Das Dropout-Verfahren schaltet im Training zufällig einzelne Einheiten ab, und ein frühes Beenden stoppt, sobald die Güte auf einer Validierungsmenge nicht mehr steigt. Die Kreuzvalidierung prüft das Ergebnis über mehrere Aufteilungen der Daten. Mehr und vielfältigere Trainingsdaten wirken zuverlässiger als jede dieser Techniken.

Die Gefahr besteht überall dort, wo wenige Beispiele auf viele Merkmale treffen. Betroffen sind Prognosen auf Grundlage weniger Jahrgänge, medizinische Studien mit kleinen Fallzahlen und Bilderkennung mit wenigen hundert Aufnahmen. Bei sehr großen und vielfältigen Datenmengen tritt das Problem dagegen in den Hintergrund.

Der Vorteil einer strikt getrennten Testmenge gegenüber einer Bewertung auf den Trainingsdaten liegt in der Aussagekraft. Erst der Wert auf ungesehenen Fällen sagt, was ein Modell im Betrieb leistet. Wer die Lücke zwischen beiden Werten laufend beobachtet, erkennt den Punkt, ab dem weiteres Training schadet.

Die Gegenrichtung heißt Underfitting: Ein zu einfaches Modell erfasst nicht einmal die eigentliche Regelmäßigkeit in den Daten. Zwischen beiden Fehlern liegt der Bereich, in dem ein Modell brauchbar arbeitet, und dieser Punkt lässt sich allein an zurückgehaltenen Daten bestimmen.