Was bedeutet Feature Engineering?

Feature Engineering bezeichnet die Aufbereitung von Rohdaten zu Merkmalen, mit denen ein Modell rechnen kann. Dazu gehört, vorhandene Werte umzuformen, sie zu kombinieren, sie auf eine gemeinsame Skala zu bringen oder überflüssige Spalten zu entfernen. Der Schritt liegt zwischen Datenbereitstellung und Training und entscheidet bei klassischen Verfahren stärker über die Güte des Ergebnisses als die Wahl des Algorithmus.

Typische Operationen sind die Normalisierung auf einen gemeinsamen Wertebereich, die One-Hot-Kodierung kategorialer Angaben und das Zerlegen eines Datums in Wochentag, Monat und Feiertagskennzeichen. Aus vorhandenen Spalten entstehen abgeleitete Größen, etwa das Verhältnis zweier Beträge oder der Abstand zum Vorjahreswert. Eine Merkmalsauswahl entfernt anschließend Spalten ohne Beitrag, um Rauschen und Rechenzeit zu senken. Bei Deep Learning entfällt der Schritt weitgehend, weil das Netz seine Merkmale selbst bildet.

Feature Engineering lohnt sich dort, wo Fachwissen über die Daten vorliegt, das ein Modell aus den Rohspalten nicht ableiten kann. Beispiele sind Kennzahlen im Rechnungswesen, abgeleitete Größen aus Sensorwerten und zeitliche Muster in Buchungs- und Bestelldaten. Bei Bildern, Ton und Fließtext übernehmen dagegen tiefe Netze diese Arbeit.

Der Vorteil gegenüber einem Modell auf allen verfügbaren Spalten liegt in der Stabilität. Wenige, gut begründete Merkmale liefern verlässlichere Ergebnisse als viele zufällig korrelierende. Weil jedes Merkmal benannt und beschrieben ist, lässt sich die Aufbereitung außerdem später identisch auf neue Daten anwenden.

Zwei Fehler treten regelmäßig auf: Merkmale, die zum Zeitpunkt der Vorhersage noch gar nicht vorliegen, und Merkmale, die geschützte Eigenschaften wie Herkunft oder Geschlecht indirekt abbilden. Beides muss vor dem Training geprüft werden, weil es sich im laufenden Betrieb kaum noch erkennen lässt.