Was bedeutet Hyperparameter Tuning?

Hyperparameter Tuning bezeichnet die Suche nach den Einstellungen, mit denen ein Modell trainiert wird. Hyperparameter sind Werte, die vor dem Training feststehen, etwa die Lernrate, die Zahl der Schichten oder die Größe der Trainingsstapel. Von den Modellparametern unterscheiden sie sich darin, dass das Training sie nicht verändert, sondern von ihnen gesteuert wird.

Die Grid Search testet alle Kombinationen eines vorgegebenen Rasters und wird bei mehr als drei Einstellungen schnell zu teuer. Die Random Search zieht stattdessen Stichproben aus dem Suchraum und findet in derselben Rechenzeit meist bessere Werte. Die Bayessche Optimierung nutzt die bisherigen Ergebnisse, um den nächsten Versuch gezielt zu wählen. Bewertet wird jeder Versuch über Kreuzvalidierung, also über mehrere Aufteilungen der Daten in Trainings- und Prüfteil.

Hyperparameter Tuning lohnt sich dort, wo die Datenmenge feststeht und sich die Güte nur noch über die Einstellungen verbessern lässt. Beispiele sind Prognosemodelle für Bedarf und Auslastung, Klassifikatoren für Textkategorien und Bilderkennung mit kleinen Trainingsmengen. Bei sehr großen Modellen begrenzt der Rechenaufwand die Zahl der möglichen Versuche.

Der Vorteil gegenüber den Voreinstellungen einer Bibliothek besteht darin, dass die Werte zu den eigenen Daten passen. Der Gewinn entsteht dabei ohne zusätzliche Erhebung. Die Versuchsreihe zeigt außerdem, auf welche Einstellung ein Modell empfindlich reagiert und welche kaum Einfluss hat.

Die Einstellungen dürfen nicht an derselben Datenmenge gewählt werden, an der später die Güte gemessen wird, sonst fällt das Ergebnis zu gut aus. Nötig sind deshalb eine getrennte Testmenge und eine Dokumentation der gewählten Werte samt Modellversion.