Neu am Fachbereich: Professor Justus Thies
3D Graphics & Vision – an der Schnittstelle zwischen der Computer Graphik und dem maschinellen Sehens
2023/09/04
Seit 1. September verstärkt Professor Dr. Justus Thies den Fachbereich Informatik im Bereich 3D Graphics & Vision. Thies, dessen akademischer Werdegang ihn unter anderem als Wissenschaftlichen Mitarbeiter an die Friedrich-Alexander-Universität Erlangen-Nürnberg, als Postdoctoral Researcher an die TU München und zuletzt als Unabhängigen Forschungsgruppenleiter zum Max-Planck-Institut für Intelligente Systeme in Tübingen führte, bringt einen reichen Schatz an Erfahrungen und Kenntnissen mit sich. Um mehr über seine Forschungsthemen und Pläne für die Zukunft zu erfahren, haben wir Professor Thies ein paar Fragen gestellt:
Warum sollten Studierende sich für Ihre Themen interessieren? Was ist das Spannende an Ihren Themen?
Meine Forschungsthemen befassen sich mit der dynamischen 3D Erfassung von Menschen, Objekten, und ganzen Räumen und Umgebungen. Diese Digitalisierung ist die Grundlage für jegliche Mensch-Maschine-Interaktion, da die Maschine verstehen muss was und wo der Mensch etwas tut, um zum Beispiel Kollisionen zu vermeiden (z.B. Haushaltsroboter, autonome Fahrzeuge).
Zum anderen wird die Digitalisierung des Menschen, dessen Bewegung und Interaktionen mit Objekten und der Umgebung für zahlreiche Anwendungen in der virtuellen und erweiterten Realität (VR und AR) benötigt. So können sich Menschen in einer virtuellen Welt (z.B. Metaverse) treffen, unterhalten, und arbeiten. Sie können virtuell neue Kleidung anprobieren (Virtual Mirror), die dann personalisiert gefertigt werden kann.
Digitale 3D-Abbilder von Menschen (Avatare) können in Filme und Videospiele eingefügt werden, und der Einsatz von Special-Effects kann vereinfacht werden. Filme können automatisiert übersetzt werden und die Lippenbewegungen der Schauspieler an die neue Audiospur angepasst werden.
Neben diesen Anwendungen hat die 3D-Erfassung viele weitere Einsatzgebiete wie zum Beispiel in der Bildgebung in der Medizin und der Analyse von Krankheiten (z.B. Heilungsverlauf einer Mund-Kiefer-Gaumen-Spalte, Analyse von Bewegungsabläufen etc.), oder der Erstellung von Ersatzteilen mittels 3D-Druck oder Ähnlichem.
Um die Grundlagen für all diese Anwendungen zu schaffen, erforscht meine Gruppe Themen an der Schnittstelle zwischen der Computer Graphik und dem maschinellen Sehen. Dabei werden optimierungsbasierte Verfahren wie die Analyse-durch-Synthese, sowie Methoden der künstlichen Intelligenz eingesetzt. Ziel ist es 3D/4D Repräsentationen von einem Objekt oder Menschen zu finden, die es uns erlauben neue photo-realistische Inhalte zu erzeugen.
Diese Rekonstruktion kann von einzelnen Bildern, Videos, Tiefensensoren, Audio oder nur Texteingaben erfolgen. Sobald man in der Lage ist die Oberflächeneigenschaften wiedergeben zu können (Farbe, Reflektionen, Geometrie, und weiter physikalische Parameter wie Elastizität, Steifigkeit etc.), hat man das Objekt erfasst und kann diese Eigenschaften weiterverwenden. Dies wird als Prinzip der Analyse durch Synthese beschrieben.
Die Arbeit in meinem Themenfeld ist sehr vielseitig und man kann seiner Kreativität freien Lauf lassen. Die Ergebnisse sind visuell und auch fassbar, wenn sie gedruckt werden. Für mich war dies immer wichtig, da ich sehen möchte, was ich erschaffe, und nicht nur Zahlen (Benchmarks) hinterherjagen will.
An der TU Darmstadt wird Interdisziplinarität großgeschrieben. Wo gibt es in Ihrem Arbeitsfeld Schnittstellen zu anderen Fachgebieten?
Mein Themenfeld ist sehr breit aufgestellt und erlaubt zahlreiche Kooperationen mit anderen Fachgebieten. Wie oben bereits erwähnt, kann die Erfassung von Bewegungen und die 3D-Rekonstruktion von Gesichtszügen, die Pose des Körpers und Interaktion mit Objekten z.B. in der Medizin eingesetzt werden. Die Erfassung der Umgebung kann in der Robotik eingesetzt werden. Die Sozialwissenschaften können menschliches Verhalten in AR/VR analysieren; Interviews oder ähnliches kann virtuell simuliert werden.
Wenn ich heute Student/in wäre, würde ich …
Als Student würde ich heute wieder einen Fokus auf Computer Graphik und Maschinelles Sehen legen. Die Möglichkeiten, die Methoden der künstlichen Intelligenz gebracht haben sind vielseitig. Es können Algorithmen direkt mit Daten gelernt und adaptiert werden, was die mühsame Entwicklung von Heuristiken obsolet macht.
Man kann Teil der Entwicklung von neuen Methodiken sein, und beeinflussen, wie und wofür die neuen Technologien eingesetzt werden könne. Es ist wichtig zu verstehen in welchem Umfang und in welchen Gebieten der Einsatz von Methoden der künstlichen Intelligenz möglich und sinnvoll ist -- man bekommt die Möglichkeit die Zukunft zu gestalten.
