Künstliche Intelligenz außerhalb der Manege

Jonglieren lernen ist schon für einen Menschen nicht leicht. Bei den ersten Versuchen fliegen die Bälle in alle Richtungen, nur nicht dahin, wo sie sollen. Jonglieren gilt als komplexe motorische Fertigkeit, die hohe Genauigkeit bei den Armbewegungen, beim Greifen und Beobachten, erfordert. Dies einem Roboter beizubringen, ist noch schwieriger als es selbst zu lernen.

Der Doktorand Michael Lutter von der Intelligent Autonomous Systems Group an der TU Darmstadt musste rund 500-mal Bälle vom Boden im Labor aufheben, bis der von ihm programmierte Roboterarm sie sicher durch die Luft wirbeln konnte. Nun gelingt dem System das bis zu 33 Minuten am Stück – und damit rund 4.500 Würfe. Das ist selbst für Zirkusartisten mit jahrelanger Erfahrung kaum zu schaffen.

Lutter und Kai Ploeger, dessen ausgezeichnete Masterarbeit zum Thema der wissenschaftliche Mitarbeiter betreute, wollen damit natürlich keine Manege erobern. Ihre Studie „High Acceleration Reinforcement Learning for Real-World Juggling with Binary Rewards“ (wird in neuem Tab geöffnet) behandelt ein komplexes Problem in der Robotik: die Anwendung maschineller Lernverfahren bei hohen mechanischen Beschleunigungen.

„Es ist eine Herausforderung, lernende Roboter zu entwickeln, die sehr schnell reagieren, ohne dass dabei die Mechanik leidet“, sagt Lutter. Eine falsch gelernte Bewegung kann die Gelenke kaputt machen – oder schlimmstenfalls sogar Teile des Roboterarms durch das Labor fliegen lassen. Aber schnelle und präzise Reaktionen sind eine Voraussetzung dafür, dass ein Roboter sich außerhalb des Labors im Alltag zwischen Menschen bewähren kann – aus Sicherheitsgründen, aber auch, um flexibler in der Bewegung zu sein.

Aus der Masterarbeit und der begleitenden Forschung ist ein Beitrag entstanden, der auf der in diesem Jahr virtuell veranstalteten, hoch renommierten Konferenz „Conference on Robot Learning“ vorgestellt wird. Auf die Idee mit dem Jonglieren kam Lutter vor zwei Jahren, als der begeisterte Jongleur und Informatik-Student Kai Ploeger in sein Büro kam und schnörkellos fragte, ob man einem Roboter nicht Jonglieren beibringen könne. Tolle Idee – das neue Duo legte sofort los: Sie ersetzten bei dem Roboter-System Barrett WAM den Greifer durch einen herkömmlichen Haushaltstrichter, der ideal ist, um Bälle sicher zu fangen.

Nun ging es für den Roboter ans Lernen, und zwar mit einem Arm und zwei Bällen – das ist schwerer als wenn man drei Bälle, dafür aber auch zwei Arme zur Verfügung hat. „Der Roboter lernt ähnlich wie ein Mensch,“ sagt Lutter. Als erstes habe er dem System eine grobe Bewegung vorgegeben, indem er verschiedene Wegpunkte einstellte, an den sich der Arm orientieren konnte. Danach war der Roboter auf sich alleine gestellt. Er musste nach und nach ausprobieren, welche Bewegung für ihn am besten funktionierte.

Reinforcement Learning

Beim sogenannten Reinforcement Learning, einem maschinellen Lernverfahren, das Lutter anwendete, lernt der Roboter, in dem er für jede erfolgreiche Aktion eine Belohnung erhält, die der Algorithmus abbildet. Mit jeder Belohnung weiß das System, dass es auf dem richtigen Weg ist. „Das Jonglieren ist für uns ein interessantes Robotik-Problem, weil der Roboter schnelle Bewegungen mit einer sehr hohen Präzision ausführen muss“, sagt Lutter. Der Arm – oder Manipulator – wirft zunächst den ersten Ball in die Luft, dann muss sich der Arm schnell nach rechts bewegen, den zweiten Ball fangen und wieder hochwerfen, dann geht es zurück nach links – alles in perfektem Timing. Bei dem zyklischen Jongliermuster muss der Roboter den Ball zudem immer in einem idealen Winkel werfen.

Bisher stieß solch eine Aufgabe aber vor allem wegen den hohen Beschleunigungen an die Grenzen der Technik. „In der Regel können Industrieroboter aufgrund der verbauten Getriebe nicht so abrupt beschleunigen, wie es für das Jonglieren benötigt wird“, sagt Lutter. Zudem können Beschleunigungsbewegungen einen hohen Verschleiß verursachen. „Das Jonglieren ist daher ein ideales Problem, um die Grenzen der derzeitigen Lernalgorithmen auf aktuellen physikalischen Systemen zu testen“, sagt Lutter.

Wie komplex die Aufgabe ist, zeigt auch, dass die Forscher das einmal Gelernte nicht einfach auf einen baugleichen Roboter übertragen können. Minimale, nicht auffallende Abweichungen in der Bewegung sorgen bereits dafür, dass das Gelernte nicht mehr funktioniert. Lutter sagt: „Nun arbeiten wir an weiteren Herausforderungen, etwa, wie zwei voneinander unabhängigen Armen lernen können, gemeinsam zu jonglieren.“

Die ersten Videos dieser maschinellen Jongleure sind bereits ein Hit in den sozialen Medien.