Was bedeutet Reinforcement Learning?

Reinforcement Learning bezeichnet ein Lernverfahren, bei dem ein System durch wiederholtes Ausprobieren selbst eine Handlungsstrategie entwickelt. Es beobachtet einen Zustand, wählt daraufhin eine Handlung aus und erhält dafür eine Belohnung oder einen Abzug. Anders als beim überwachten Lernen liegt keine richtige Antwort vor, sondern nur eine Bewertung der Folgen.

Beschrieben wird das Verfahren über vier Größen: die Zustände, die möglichen Handlungen, die Belohnungsfunktion und die Strategie. Q-Learning schätzt für jede Kombination aus Zustand und Handlung den erwarteten künftigen Ertrag, Deep Q-Networks übernehmen diese Schätzung mit einem neuronalen Netz. Wie stark das System Neues ausprobiert statt Bekanntes auszunutzen, steuert ein eigener Parameter. Weil viele Fehlversuche nötig sind, wird zuerst in einer Simulation trainiert.

Reinforcement Learning lohnt sich dort, wo eine Folge von Entscheidungen zusammenwirkt und der Erfolg erst am Ende messbar ist. Beispiele sind die Steuerung von Ampeln, die Zuteilung von Aufzügen und die Nachbestellung im Lager. Für einzelne, voneinander unabhängige Entscheidungen sind überwachte Verfahren geeigneter.

Der Vorteil gegenüber einem festen Zeitprogramm liegt in den gemessenen Werten. Die Strategie richtet sich nach dem Zustand, den die Sensoren melden, statt nach einem hinterlegten Plan. Weil die Bewertung als Zahl vorliegt, lässt sich der Erfolg an einer festen Größe messen statt an Eindrücken.

Das Ergebnis hängt vollständig an der Belohnungsfunktion, denn das System optimiert genau die Größe, die dort eingetragen ist. Belohnt eine Ampelsteuerung allein den Fahrzeugdurchfluss, verlängern sich die Wartezeiten für Fußgänger, ohne dass die Kennzahl das anzeigt. Welche Größe belohnt wird, ist deshalb eine fachliche Entscheidung und keine technische.