„Momentan eher Risiko als echter Nutzen“

TU-Professorin Iryna Gurevych erläutert, welche Potenziale und Gefahren in Sprachrobotern wie ChatGPT stecken

07.07.2023 von

Im Ubiquitous Knowledge Processing (UKP) Lab der TU Darmstadt befasst sich die Informatikerin Iryna Gurevych unter anderem mit den Grenzen und Schwächen von KI-Sprachmodellen. Im Interview stellt sie spannende Forschungsergebnisse vor – und gibt eine Prognose dazu ab, wie die neue Technologie die Welt verändern könnte. Teil eins einer dreiteiligen Serie zum Thema „Was kann KI?“

Professorin Dr. Iryna Gurevych leitet das Ubiquitous Knowledge Processing (UKP) Lab am Fachbereich Informatik.

Liebe Frau Gurevych, im UKP forschen sie unter anderem zu sogenannten „KI-Halluzinationen“, also zur Tendenz von Sprachmodellen, Fakten und Erklärungen zu erfinden. Was sind die Ursachen für dieses Phänomen?

Große Sprachmodelle können aus mehreren Gründen halluzinieren. Ein Grund ist die sogenannte parametrische Wissensverzerrung („parametric knowledge bias”), bei der das Modell das Wissen, das es beim Vortraining erworben hat und das in seinen Parametern enthalten ist, gegenüber den Informationen bevorzugt, die in der Nutzenden-Eingabe, dem sogenannten Prompt, enthalten sind. Dieses Verhalten kann durch den Wortlaut des Prompts beeinflusst oder verstärkt werden. In Einzelfällen ist es sogar möglich, dem Modell bestimmte Textproben, die in den Trainingsdaten des Modells enthalten waren, wortwörtlich zu entlocken. Und manchmal sind diese Informationen sachlich falsch oder für die Aufforderung irrelevant, was zu einer Halluzination führt.

Was können weitere Gründe für solche Halluzinationen sein?

Ein zweiter Grund liegt in der Art des Dekodierungsprozesses, der stattfindet, wenn das Modell seine Ausgabe generiert. Viele Sprachmodelle wie GPT-3 verfügen über eine Dekodierkomponente, die während des Trainings jedes Token der Ausgabesequenz anhand der Tokens der sogenannten „Ground Truth“ (d. h. der Token der zu produzierenden Zielsequenz) vorhersagt. Doch wenn das Modell während des Einsatzes in Echtzeit auf keine „Ground Truth“ zurückgreifen kann, unternimmt es die Dekodierung auf Grundlage der Token, die das Modell während des Trainings ausgegeben hat. Diese Diskrepanz kann zu Halluzinationen führen – umso mehr, je länger die Ausgabe wird. Wenn der Dekodierungsprozess so konfiguriert ist, dass er mehr Zufälligkeiten zulässt (und damit möglicherweise kreativere und vielfältigere Ausgaben), kann dies außerdem zu mehr Sach- und Konsistenzfehlern führen.

Inwiefern können Sie mit Ihren Untersuchungen diese Zusammenhänge belegen?

Einige unserer jüngsten Forschungsarbeiten haben gezeigt, wie ChatGPT das Wissen in seinem parametrischen Speicher gegenüber den Informationen in einer Chat-Eingabeaufforderung „bevorzugt“. In einem Fall haben wir ChatGPT ein im englischsprachigen Raum beliebtes Gedankenexperiment vorgelegt, bei dem ein Junge namens „John“ und sein Vater „Bob“ in einen Unfall verwickelt sind. Im Krankenhaus weigert sich die behandelnde Fachperson, John zu operieren, da John ihr Sohn sei. Das Gedankenexperiment soll zum Reflektieren von klassischen Geschlechterrollen führen – der vermeintliche Widerspruch erklärt sich dadurch, dass die Person im Operationssaal Johns Mutter ist.

Uns gegenüber beharrte ChatGPT jedoch darauf, dass der Arzt der Vater von John sein muss – selbst in Fällen, in denen wir angaben, dass John sowohl eine Mutter als auch einen Vater habe. Auch andere Versuche zeigten, dass ChatGPT eine Reihe von Vorurteilen hat, die nicht nur soziale Normen, sondern sogar physikalische Gesetze betreffen. Diese Beispiele sind natürlich isoliert und wurden für eine begrenzte Anzahl von Szenarien entwickelt, aber sie deuten darauf hin, dass der Einfluss von parametrischem Wissen einen nicht zu vernachlässigenden Einfluss auf die Ausgabe von ChatGPT ausübt, der manchmal sogar dem Inhalt des Prompts durch die Nutzenden entgegensteht.

Wie könnte der Gefahr, dass die Modelle Falschinformationen liefern, Ihrer Ansicht nach entgegengetreten werden? Welche Veränderungen wären dafür bei den Verfahren und Daten notwendig, mit denen die Modelle trainiert werden?

Ein wichtiger Schritt wäre es, dafür zu sorgen, dass die Trainingsdaten für diese Modelle sorgfältiger geprüft und gefiltert werden. Derzeit wird zum Trainieren von Sprachmodellen hauptsächlich CommonCrawl verwendet, eine nicht kuratierte Sammlung von mehr als zwei Milliarden Webseiten, die neben etablierten Portalen auch unzuverlässige Nachrichtenseiten und volksverhetzende und rassistische Quellen enthält. Aufgrund der enormen Größe dieses Datensatzes ist es nicht möglich, ihn vollständig zu analysieren und zu bereinigen, auch nicht mit automatischen Mitteln. Es können jedoch Maßnahmen ergriffen werden, um bei künftigen Iterationen des Datensatzes offensichtliche Quellen unerwünschter Inhalte auszuschließen und die gesammelten Daten mit Stichproben darauf zu prüfen, ob sie den Qualitätsstandards entsprechen. Dies würde allerdings eine Neugestaltung des Datenerhebungsprozesses erfordern, zum Beispiel die Aufteilung in kleinere Komponenten, die sich leichter verwalten lassen. Letztlich sind die Informationen, die in ein großes Sprachmodell eingehen, bis zu einem gewissen Grad auch die Informationen, die herauskommen, so dass falsche Aussagen schon zu Beginn so weit wie möglich aussortiert werden.

Sind auch bei den Sprachmodellen selbst hier Verbesserungen denkbar?

Ja, die Sprachmodelle könnten modifiziert werden, um die Erzeugung von Falschäußerungen zu verhindern. Beispielsweise können Sprachmodelle um eine sogenannte „Retrieval-“ also Suchkomponente erweitert werden, die ihnen neben den Informationen, die sie aus ihren Pretraining-Daten gelernt haben, Zugang zu einer zuverlässigen und immer aktuellen Informationsquelle verschafft. Die Modelle würden dann so trainiert, dass sie sich nicht nur auf ihr (möglicherweise verunreinigtes) parametrisches Wissen stützen, sondern auch Informationen aus dieser Wissensquelle abrufen, wenn sie eine Frage beantworten. Die Forschung hat gezeigt, dass Modelle mit einer solchen Retrieval-Komponente im Vergleich zu Modellen ohne sie ein geringeres Halluzinationsverhalten aufweisen.

Professorin Dr. Iryna Gurevych leitet das Ubiquitous Knowledge Processing (UKP) Lab am Fachbereich Informatik.

Professorin Iryna Gurevych

Welche Verbesserungen könnten auf diese Weise erreicht werden?

Die geschilderte Retrieval-basierte Erweiterung von interaktiven Sprachmodellen ist nur eine von mehreren algorithmischen Möglichkeiten, mit denen sich Halluzinationen reduzieren lassen. Generell ist es vor allem wichtig, Sprachmodelle robuster gegen Verzerrungen und schädliche Inhalte in ihren Trainingsdaten zu machen, da es aufgrund der schieren Menge an Daten, die heute zur Verfügung stehen, unmöglich ist, diese vollständig herauszufiltern.

Aus meiner Perspektive sollten wir einen äußerst sorgfältigen und verantwortungsvollen Umgang mit den Daten fördern, mit denen Sprachmodelle trainiert werden. Das würde sich positiv auf die Forschungskultur auswirken und die Forschenden an die immense Verantwortung erinnern, die sie bei der Verwendung von echten Daten aus dem Internet für das Training eines großen Sprachmodells innehaben

Das immense Potenzial von ChatGPT löst viel Begeisterung, aber auch Befürchtungen aus.
Das immense Potenzial von ChatGPT löst viel Begeisterung, aber auch Befürchtungen aus.

Welches Potenzial sehen Sie grundsätzlich in Sprachmodellen wie ChatGPT? Könnten diese Ihrer Einschätzung nach in absehbarer Zeit Suchmaschinen wie Google ablösen?

In ihrem derzeitigen Zustand sind große Sprachmodelle wie ChatGPT und GPT-4 noch nicht in der Lage, die klassischen Suchmaschinen zu ersetzen, da sie im Gegensatz zu diesen nicht auf aktuelle Daten zurückgreifen, sondern auf einen mehrere Monate (oder sogar Jahre) alten Trainingsdatensatz. Dies beginnt sich jedoch gerade zu ändern: Bing Chat ist ein Beispiel dafür. Es nutzt schon jetzt Inhalte aus Online-Suchen und erzeugt mit Sprachmodell-Funktionen flüssige Dialogantworten auf Fragen der Nutzenden. Aber auch in diesem Modell ist die „statische“ Sprachkomponente, die für die Führung des Dialogs verantwortlich ist, von der „Online“-Komponente getrennt, die das Web durchsucht. Ein Sprachmodell an sich wird also auch in näherer Zukunft keine Suchmaschine ersetzen, sondern lediglich mit ihr verbunden sein. Ob diese Art von Schnittstelle zur bevorzugten Methode der Websuche wird, hängt von den Vorlieben der Nutzenden ab.

Wenn wir nun auf bestimmte Berufsstände schauen – halten Sie es für möglich, dass die Sprachmodelle irgendwann etwa Programmierer:innen überflüssig machen könnten?

Das ist aktuell noch schwierig zu beantworten. Derzeit scheinen die Sprachmodelle noch nicht bereit zu sein, Programmierende zu ersetzen, und sie werden es auch in naher Zukunft nicht sein. Der jüngste GitHub Copilot hat gezeigt, dass die Modelle zwar gute Code-Vorschläge liefern können, der Code aber immer noch Fehler enthalten kann, die von einer menschlichen Programmiererin korrigiert werden müssen. Zwar sehen wir gerade große Fortschritte bei der Codegenerierung, die gerade den größeren Modellen gelingen, aber wir sind noch weit davon entfernt, dass lange, komplexe Programme von Grund auf generiert werden können. Bei anspruchsvollen Programmierszenarien, wie dem Entwurf kritischer Infrastrukturen, würde der Übergang zu KI als Programmiererin noch langsamer vonstattengehen.

Und wie schätzen Sie in dieser Hinsicht die Perspektive für Journalist:innen und Autor:innen ein?

In schreibintensiven Bereichen wie dem Journalismus könnten Sprachmodelle die menschliche Arbeitsbelastung reduzieren, indem sie Vorlagen für Artikel erstellen. Doch ihre Eignung für alle faktenbezogenen Bereiche wird stark von der Vertrauenswürdigkeit abhängen, die sie in Zukunft erlangen. Das Wissen darüber, dass diese Modelle halluzinieren können, scheint glücklicherweise immer mehr Nutzenden bekannt zu sein. Solange die Probleme dahinter nicht gelöst sind, werden Sprachmodelle nicht in der Lage sein, eine menschliche Journalistin zu ersetzen.

Sprachmodelle könnten in Zukunft aber in der Tat im Bereich des kreativen Schreibens zum Einsatz kommen, indem sie beispielsweise einer menschlichen Autorin Vorschläge oder Ideen liefern. Kreativität profitiert oft vom Brainstorming mit anderen – eine Rolle, bei der ein Sprachassistent helfen könnte. Letztendlich werden kreative Bereiche jedoch durch den natürlichen Wunsch des Menschen nach künstlerischem Ausdruck angetrieben, so dass immer eine menschliche Komponente vorhanden sein wird, egal wie gut die Modelle auch sein mögen.

In welchen Bereichen von Wissenschaft, Kultur, Arbeitswelt und Gesellschaft können die Modelle gewinnbringend eingesetzt werden?

Sprachmodelle sind für uns Forschende interessant, da sie sehr gut darin sind, unterschiedlichste Texttypen zu erzeugen. Solange die gewünschte Ausgabe hinreichend beschrieben ist, sind sie sehr vielseitig und können Filmkritiken, informelle Dialoge in einem bestimmten Duktus oder Slang oder Sätze mit bestimmten grammatikalischen Eigenschaften erzeugen. Solche Texte werden häufig für die Forschung im Bereich des maschinellen Lernens zur Erstellung von Trainingsdaten benötigt, sind aber entweder kaum vorhanden oder nur mit hohem Aufwand durch Menschen zu erstellen. Eine mögliche nützliche Anwendung von Sprachmodellen in der Wissenschaft ist daher die Datengenerierung. Dies würde die Notwendigkeit verringern, sich auf Menschen zu verlassen, für die solche Generierungsaufgaben mühsam sind und zu Fehlern verleiten. In diesem Szenario müsste der Mensch nur die vom Sprachmodell erzeugte Ausgabe auf ihre Qualität hin überprüfen, anstatt selbst einen ganzen Text zu erstellen. Und in der Tat wird ChatGPT schon jetzt für genau diesen Zweck eingesetzt.

Auch in der Arbeitswelt abseits der Wissenschaft finden Sprachassistenten bereits in begrenztem Umfang Verwendung, zum Beispiel bei der automatischen Vervollständigung und für Antwortvorschläge auf E-Mails. Sprachmodelle in ihrer jetzigen Form können in dieser Hinsicht menschliche Arbeit erleichtern, indem sie Vorlagen für E-Mails oder Briefe vorschlagen oder sogar ganze Texte schreiben, die ein Mensch nur noch bestätigen muss. Dies würde den Arbeitsaufwand für die Kommunikation erheblich erleichtern.

Ich habe bereits erwähnt, dass und wie Sprachmodelle auch in Bereichen wie dem Journalismus zum Einsatz kommen könnten, doch müssten sie dafür erst noch faktisch zuverlässiger und insgesamt besser werden. Momentan würde ihr Einsatz auf breiter Basis eher ein Risiko als einen echten Nutzen darstellen.

Professorin Dr. Iryna Gurevych
Professorin Dr. Iryna Gurevych

Welche Herausforderungen bringen die Sprachmodell für das Bildungssystem mit sich? Sehen Sie auch Chancen?

Festhalten sollten wir, dass Schulen einen guten Grund haben, sich dafür zu interessieren, ob der Text einer Schülerin von einem Modell wie ChatGPT erstellt wurde oder nicht. Es gibt zwar schon die ersten Erkennungsmethoden, aber sie sind nicht perfekt und können immer noch menschlichen Text fälschlicherweise als KI-generiert klassifizieren (oder umgekehrt). Dies wird absehbar zu Problemen führen, da noch völlig unklar ist, ob der Einsatz eines Sprachmodells bei der Bearbeitung von Aufgaben wünschenswert ist oder nicht. Gegen den Einsatz könnte sprechen, dass das Delegieren von akademischen Arbeiten an ein Sprachmodell nicht wirklich dabei hilft, eigene Skills in diesem Bereich zu entwickeln. Richtig eingesetzt könnte ein Sprachmodell jedoch auch dabei helfen, (wissenschaftliches) Schreiben zu erlernen, indem beispielsweise automatisch nützliche Rückmeldungen zu einem vom Lernenden verfassten Text mittels eines Sprachmodells generiert werden. Dass Bedarf für eine solche Unterstützung besteht, zeigen die Schreibhilfezentren und Schreibkurse, die viele Universitäten anbieten. Richtig eingesetzt könnten Sprachmodelle in dieses Angebot integriert werden.

Welche Rolle spielen hier die KI-Halluzinationen, über die wir zu Beginn gesprochen haben?

Auch wegen dieser Halluzinationen ist es wichtig, einen richtigen Umgang mit Sprachmodellen zu vermitteln. Falls Schulkinder ChatGPT darum bitten, einen Aufsatz zu verfassen, könnte es realistisch klingende Fakten produzieren, die eine besonders junge oder unerfahrene Schülerin nicht zu hinterfragen gedenkt und die die Lehrerin nicht widerlegen kann – was zu einer weiteren Verbreitung falscher Informationen führen könnte. Wenn diese Gefahren jedoch richtig kommuniziert werden und Schülerinnen über die möglichen faktischen Fallstricke Bescheid wissen, kann das Modell ein geeignetes Instrument sein, um zu lernen, wie man Texte verfasst und Argumente strukturiert.

Was ist ChatGPT?

ChatGPT steht für „Generative pre-trained Transformer“. Der Chatbot ist nach einer Registrierung im Internetbrowser abrufbar und sieht aus wie ein klassischer Chatroom. Gespräche führt man jedoch nicht mit einem Menschen, sondern mit der KI. Das System antwortet auf Fragen, erstellt Texte, übersetzt sie, schreibt Artikel, Businesspläne oder Programmcodes. Entwickelt wurde ChatGPT von der amerikanischen Firma OpenAI. Microsoft hat bereits 2019 eine Milliarde Dollar in das Unternehmen investiert und im Januar 2023 angekündigt, dass zehn Milliarden folgen sollen. Der Windows-Konzern will den Chat-Assistenten für Kunden des Office-Paketes und des eigenen Cloud-Dienstes zur Verfügung stellen.