Eine KI, die weiß, was sie nicht weiß

Julia Vinogradska, Forscherin am Bosch Center for Artificial Intelligence, steht mit ihrem Doktorvater Jan Peters, Professor für Intelligent Autonomous Systems an der TU Darmstadt, vor einem an einem Gerüst hängenden Roboterarm. Der hält einen Tischtennisschläger fest in der Hand, als sei er bereit für ein Spiel. Jan Peters hat dem Roboter vor einiger Zeit mit sogenanntem Reinforcement Learning das Spielen beigebracht. Am Rechner des Professors funktionierte das Modell dieses maschinellen Lernverfahrens gut. Als Peters es auf den Roboterarm übertrug, spielte dieser zunächst wie erwartet, aber plötzlich holte er mit einem kräftigen Schwung aus, sodass der gesamte Arm quer durchs Labor flog.

Vinogradska schaut abwechselnd auf den Roboter und auf Peters. Sie kennt das Gefühl, dass Maschinen trotz Künstlicher Intelligenz (KI) nicht immer das lernen, was sie sollen. Eine Eigenschaft hat sie mit ihrem Doktorvater gemein: „Wenn etwas nicht funktioniert, werde ich stur“, sagt sie. „Ich muss es dann unbedingt hinbekommen.“ Peters, dessen Absolventen und Absolventinnen heute weltweit KI-Ansätze vorantreiben, traute der gebürtigen Ukrainerin einiges zu. Zu Recht: In ihrer vielbeachteten Dissertation bei ihm machte Vinogradska mit neuartigen Algorithmen die Lernverfahren nicht nur berechenbarer, sondern auch effizienter. Drei Patente brachten die beiden gemeinsam hervor.

Reinforcement Learning bedeutet so viel wie verstärkendes Lernen. Beim sogenannten Supervised Learrning lernt ein System der Künstlichen Intelligenz mit menschlicher Hilfe – es lernt, weil Menschen ihm anhand vieler Beispiele zeigen, was falsch und richtig ist. Beim Reinforcement Learning lernt das System aus eigenen Fehlern – durch eine Mischung aus Bestrafung und Belohnung. Es ist dem menschlichen Üben nicht unähnlich. Wenn jemand zum Beispiel beim Bogenschießen versucht, ein Ziel zu treffen, ist er frustriert, wenn der Pfeil weit danebengeht. Das Gehirn bestraft den Schützen mit schlechten Gefühlen. Nähert er sich dem Ziel, fühlt sich das besser an, wie eine Bestärkung.

Roboterlernen auf diese Weise zum Beispiel, auf zwei Beinen zu gehen. Fällt der Roboter, bestraft ihn der Algorithmus mit Minuspunkten. Schafft ein Roboter eine Bewegung, ohne zu fallen, erhält er Pluspunkte. Das Streben nach Punkten treibt den Roboter nach und nach auf die optimale Lösung zu – vorausgesetzt, man lässt ihm Zeit. Die berühmte Künstliche Intelligenz AlphaGo lernte das Brettspiel Go mit diesem Ansatz so gut, dass der weltbeste menschliche Spieler unterlag.

Auch bei Industrieanwendungen kommt Reinforcement Learning zum Einsatz. Aber hier zeigt sich ein Problem dieser Lernmethode: Misslingt das Lernen und reagiert die Maschine ähnlich extrem wie beim Tischtennis, kann das für Menschen, die in der Nähe arbeiten, lebensgefährlich sein. Um dies zu verhindern, lernen solche Systeme nicht nur mit Daten aus Simulationen, sondern immer auch aus der Praxis. Dadurch ergibt sich ein weiterer Nachteil: Reinforcement Learning ist teuer.

Lernen im Prüfstand

Bei Bosch arbeitet man zum Beispiel an der Steuerung einer sogenannten Drosselklappe. Sie regelt beim Verbrennungsmotor die Zufuhr des Benzin-Luft-Gemischs. Eine Optimierung kann viel Energie sparen; geht etwas schief, kann der Motor beschädigt werden. Daher wird die Drosselklappe mit Sensorik ausgestattet. Die Sensor-Daten fließen in das Lernen ein, und die KI versteht es nach und nach, die Klappe effizient zu bedienen. Allerdings gibt es dabei Millionen von Datenpunkten – das sind die Interaktionen zwischen System und Sensorik. „Im Gegensatz zu einem Go-Spiel, das simuliert werden kann, findet das Lernen im Prüfstand statt, und damit ist der Lernprozess sehr kostspielig“, sagt Vinogradska.

Ihre Promotion sowie ihre Patente beschäftigen sich mit der Dateneffizienz und der Sicherheit solcher KI-Methoden. Ihre Algorithmen basieren auf der numerischen Quadratur, einer näherungsweisen Berechnung von Integralen. Sie sorgt dafür, dass das System mit möglichst wenig Interaktionen lernt – und trotzdem so sicher wie möglich bleibt.

Die Sicherheit jedes Systems, das mit Reinforcement Learning arbeitet, zu beurteilen, ist schwierig. Es gibt keine Garantien, dass das, was das System gelernt hat, immer fehlerfrei funktioniert. „Solche komplexen Systeme haben unendlich viele Zustände, und wir können unmöglich alle durchtesten“, sagt Vinogradska. Es bleiben Unsicherheiten. Ingenieure berücksichtigen diese – aber immer nur von einem bestimmten Zustand ausgehend. Dies war Vinogradska zu wenig.

„Das Besondere an Julias Quadraturlösungen ist, dass sie dem System auch das Wissen über die eigene Unsicherheit bezüglich der physikalischen Welt geben“, sagt Peters. Mit diesem Wissen reagiert das System nicht mehr auf extreme Veränderungen der Inputdaten. „Alle Methoden des Maschinellen Lernens konnten bisher mit großen Sprüngen in den Input-Daten nicht gut umgehen“, sagt Julia Vinogradska. Und Peters ergänzt: „Es ist sehr schwierig, dafür gute Algorithmen zu entwickeln, und Julias sind herausragend – es gibt derzeit kein Verfahren, das vergleichbar gut ist.“

Boris Hänßler