Neue Emmy Noether-Gruppe erforscht erklärbare künstliche Intelligenz für die Bild-und Videoanalyse
Dr. Simone Schaub-Meyer will XAI auf dichte Sehaufgaben ausweiten
04.03.2024 von ag
Die Deutsche Forschungsgemeinschaft hat Dr. Simone Schaub-Meyer in ihr Emmy Noether-Programm aufgenommen. Mit ihrer neuen Nachwuchsgruppe will sie Methoden erforschen und entwickeln, die das Verständnis für weit verbreitete Modelle der Künstlichen Intelligenz (KI) in der Bild-und Videoanalyse erhöhen und deren Robustheit verbessern. Die Förderung für die ersten drei Jahre umfasst rund 1,1 Millionen Euro und beinhaltet Mittel für zwei Promotionsstellen sowie 8 hochwertige Grafikprozessoren.
Neue Methoden der Künstlichen Intelligenz, insbesondere des Deep Learnings, haben auch im Bereich der Computer Vision große Fortschritte gebracht. Das computer-gestützte Sehen ermöglicht beispielsweise die Objekterkennung bei Fahrassistenzsystemen oder die Erkennung von krankem Gewebe in medizinischen Aufnahmen. Besonders für solche sicherheitskritischen und juristisch relevanten Anwendungsgebiete ist es wichtig, dass die Verfahren und Modelle vertrauenswürdig sind. In der Regel wird die Leistungsfähigkeit eines Verfahrens an festgelegten Trainingsdatensätzen gemessen und verglichen. Aber was passiert, wenn seltene oder von den Testdaten abweichende Szenarien auftreten? In den meisten Fällen kann das Verhalten der KI dann nur schwer oder gar nicht nachvollzogen werden und auch Vorhersagen sind kaum möglich.
Dr. Simone Schaub-Meyer will das mit ihrer Forschung auf dem Gebiet der explainable Artificial Intelligence (XAI) ändern. Sie erforscht das Verhalten und den Entscheidungsprozess von künstlichen neuronalen Netzen und versucht so Rückschlüsse auf die Robustheit und die Verallgemeinerungsfähigkeit zu ziehen. Ihr Fokus liegt dabei auf sogenannten dichten Sehaufgaben. Dabei wird jedes Pixel im Bild klassifiziert – z.B. mit „Auto“, „Straße“, „Gehsteig“ oder „Person“. Bei der semantischen Segmentierung erfassen die Algorithmen also zum Beispiel nicht nur, ob ein Auto auf dem Bild ist, sondern auch wo.
Die Ausweitung von XAI auf dichte Sehaufgaben ist ein wesentlicher und notwendiger Schritt, um das Verständnis für weit verbreitete Modelle in der Bild-und Videoanalyse zu erhöhen und deren Robustheit zu verbessern.
![Das von Schaub-Meyer et al. [1] mitentwickelte Framework FunnyBirds kann zur Evaluierung von Explainable AI-Methoden verwendet werden. Durch das Entfernen einzelner Vogelteile und die Messung der Leistungsveränderung konnten die Wissenschaftler*innen die Bedeutung der einzelnen Teile für die Grundwahrheit annähern. In diesem Beispiel ist der Schnabel wichtiger als die Füße.
[1] Robin Hesse, Simone Schaub-Meyer, Stefan Roth. FunnyBirds: A Synthetic Vision Dataset for Evaluating Explainable AI Methods. International Conference on Computer Vision (ICCV), 2023.](/media/informatik/fb20_allgemeines/fb20_news/2024/2024_03_funnyBirdFramework_405x0.png)
![Das von Schaub-Meyer et al. [1] mitentwickelte Framework FunnyBirds kann zur Evaluierung von Explainable AI-Methoden verwendet werden. Durch das Entfernen einzelner Vogelteile und die Messung der Leistungsveränderung konnten die Wissenschaftler*innen die Bedeutung der einzelnen Teile für die Grundwahrheit annähern. In diesem Beispiel ist der Schnabel wichtiger als die Füße.
[1] Robin Hesse, Simone Schaub-Meyer, Stefan Roth. FunnyBirds: A Synthetic Vision Dataset for Evaluating Explainable AI Methods. International Conference on Computer Vision (ICCV), 2023.](/media/informatik/fb20_allgemeines/fb20_news/2024/2024_03_funnyBirdFramework_475x0.png)
In ihrem durch das Emmy Noether-Programm geförderte Projekt XIVA – eXplainable Image and Video Analysis wird Schaub-Meyer die Methoden der XAI spezifisch auf die Bild- und Videoanalyse anwenden. Ihr Ziel ist die Entwicklung interpretierbarer Erklärungsmethoden für räumliche und räumlich-zeitliche Sehaufgaben, wie z.B. Bild-/Video-Segmentierung und Bewegungsschätzung. Die dabei gewonnen Einsichten sollen wiederum dabei helfen, die Modelle selbst und deren Robustheit zu verbessern.
Dafür wird sie zunächst die Vorhersageleistung von bestehenden Modellen analysieren, die bereits neuartige, vom Menschen interpretierbare Messgrößen anbieten. Im direkten Vergleich sollen globale Schwächen und Stärken der Modelle sichtbar werden. Ein weiteres Ziel ist die Entwicklung lokaler Attributionsmethoden, die räumliche und raum-zeitliche Entscheidungsprozesse verarbeiten und visualisieren können.
Schaub-Meyer konzentriert sich bei der Entwicklung bewusst auf selbst interpretierende Modelle für dichte Vorhersageaufgaben. Diese sind von sich aus besser geeignet, Erklärungen zu liefern und die Robustheit zu erhöhen.Die entwickelten Ansätze wird die Wissenschaftlerin im letzten Schritt mit geeigneten, neuartigen Datensätzen und Referenzwerten evaluieren, um die Erklärbarkeit und Robustheit zu bewerten.
Das Emmy Noether-Programm ermöglicht es mir, mich weiterzuentwickeln sowie meine Gruppe zu vergrößern. Ich suche daher ab Sommer zwei weitere Ph.D. Kandidaten. Ich freue mich darauf, mit meiner Gruppe diese anspruchsvollen aber wichtigen Forschungsfragen in dem inspirierenden Umfeld der TU Darmstadt und des Hessischen Zentrums für Künstliche Intelligenz anzugehen.
Dr. Simone Schaub-Meyer
Zur Person
Simone Schaub-Meyer ist unabhängige Forschungsgruppenleiterin an der Technischen Universität Darmstadt und Mitglied des Hessischen Zentrums für Künstliche Intelligenz – hessian.AI. Dort leitet sie zudem eine vom HMWK geförderte DEPTH-Forschungsgruppe im Rahmen des Clusterprojekts The Third Wave of Artificial Intelligence (3AI). Der Schwerpunkt ihrer Forschung liegt in der Entwicklung effizienter, robuster und verständlicher Methoden und Algorithmen für die Bild- und Videoanalyse. Vor der Gründung ihrer eigenen Gruppe war sie als Postdoktorandin im Visual Inference Lab von Prof. Stefan Roth tätig. Zuvor arbeitete sie als Postdoc im Bereich Augmented Reality am Media Technology Lab der ETH Zürich. Ihre Promotion „Video Frame Interpolation and Editing with Implicit Motion Estimation“ erfolgte in Zusammenarbeit mit Disney Research Zurich unter der Betreuung von Prof. Dr. Markus Gross an der ETH Zürich. In ihrer mit der ETH-Medaille ausgezeichneten Dissertation hat sie neuartige Methoden zur Bewegungsschätzung und Videobildinterpolation entwickelt.
Das Emmy Noether-Programm
Mit ihrem Emmy Noether-Programm ermöglicht die Deutsche Forschungsgemeinschaft DFG es besonders qualifizierten jungen Wissenschaftlerinnen und Wissenschaftlern, sich auf eine Professur vorzubereiten. Die eigenverantwortliche Leitung einer Forschungsgruppe an einer Hochschule oder Forschungseinrichtung sowie damit verbundene Lehraufgaben bieten Gelegenheit, die für eine Berufung notwendigen Fähigkeiten zu erlernen und nachzuweisen. Zu den Voraussetzungen gehören eine Promotion mit herausragendem Ergebnis sowie hochrangige Veröffentlichungen.
