Fehler und Fakes in großen Sprachmodellen Was sind Halluzinationen in der KI?

Anbieter zum Thema

Google Germany GmbH

Microsoft Corp.

Vertiv GmbH

Kentix GmbH

STACKIT GmbH & Co. KG

Halluzinationen kennt man aus der psychiatrischen Medizin, wo sie meist Anzeichen für schwerere seelische Erkrankungen sind, oder aus dem Drogenrausch. Doch auch große Sprachmodelle (LLMs) wie „ChatGPT“ warten mit diesem Phänomen auf – positiv ist es auch hier nicht.

Kann eine KI halluzinieren? Leider ja. Allerdings ist das keine Folge entgleisender Botenstoffe wie bei biologischen Wesen, sondern eines schlechten oder wahllosen Trainings.

So erscheinen KI-Halluzinationen leider gern bei den großen Sprachmodellen (LLMs, Large Language Models). Das bekannteste ist derzeit wohl „GPT-4“ von OpenAI, aber auch „Google PaLM“ und andere sind zu solchen Konfabulationen – so die Alternativbezeichnung des Phänomens – in der Lage.

KI-Texte sind verkörperte statistische Wahrscheinlichkeiten

Halluzinationen oder Konfabulationen sind übrigens der beste Beweis dafür, dass KI eben nicht denkt oder begreift, sondern wahllos Info-Schnipsel nach ausschließlich statistischen Regeln aneinanderreiht und dabei oft Vernünftiges zusammenschreibt, aber auch genau so oft daneben liegen kann.

Das liegt daran, dass große Sprachmodelle am offenen Internet lernen und Zeichen und Worte nach Wahrscheinlichkeit hintereinander darstellen. Diese Wahrscheinlichkeiten haben sie durch Analyse ihres gesamten Lernstoffs, in der Regel der im Web eingesogenen Zeichenfolgen, erlernt. Dabe inutzen sie Wissenschaftsseiten genauso wie die Machwerke eines Fake verbreitenden Polit-Trolls.

Plausibel? Die KI hat keine Ahnung

So haben sie verinnerlicht, mit welcher Wahrscheinlichkeit ein Buchstabe oder ein Wort nach einem anderen folgt, nicht aber, was inhaltlich plausibel ist und was widersprüchlich oder schlicht falsch.

Nach reiner Wahrscheinlichkeit richtet sich also, wie sie Worte, Sätze, Web-Adressen und ganze Antworten aufbauen. Dass dabei überhaupt so oft etwas Vernünftiges herauskommt, ist ein Wunder.

Weil vieles so richtig klingt, merken vertrauensselige oder sachunkundige Nutzer nicht, dass die Maschine Unfug geliefert hat. Und reichen die Elaborate weiter an andere gläubige Leser und Leserinnen. Schon ist der Unsinn in der Welt, wird ins Web gestellt, oft genug für bare Münze genommen und dient den gefräßigen LLMs als weiterer Lehrstoff.

Trainingsdaten entscheiden

Wichtigste Gründe dafür sind mangelhafte Trainingsdaten. Hier tut sich ein großes neues Geschäftsfeld für findige Firmen auf, die ihren Kunden dabei helfen, zwar ein LLM zu nutzen, vielleicht sogar ein eigens für sie entwickeltes, es aber ausschließlich mit vertrauenswürdigem und fachspezifischem Material zu füttern.

Weiter muss dieses Material mit passenden Metadaten versehen sein. Fehler hier können Ergebnisse genauso verzerren wie insgesamt unsinnige Informationen. Auch Bias in Trainingsdaten ist unbedingt zu vermeiden.

Kontextwissen ist unverzichtbar

Außerdem braucht Kontextwissen, wer ein LLM zu fachlich korrekten Antworten befähigen oder sinnlose Antworten rechtzeitig ausfiltern möchte. Ein Laie wird also kaum ein gutes LLM beispielsweise zum Thema KI-Modelle entwickeln können.

Auch schlechte Programmierung oder verwaschene Prompt-Formulierung rächt sich in unzureichenden Ergebnissen. Wer mit ChatGPT oder ähnlichen Modellen arbeitet, sollte zumindest beim heutigen Stand der Technik als erste Hilfe sämtliche wichtigen Fakten in der Antwort eines LLM oder wenigstens alle, die irgendwie zweifelhaft erscheinen, recherchieren. Manchmal wird das wohl darauf hinauslaufen, dass man den Text genauso gut hätte selbst schreiben können.

Tools zur Plausibilitätsprüfung und für den Fehlercheck

Es gibt aber auch Tools, zum Beispiel das frei erhältliche „NeMo Guardrails“ von Nvidia. Der kostenlose Web-Service „KI-Detektor“ von Scribbr erkennt, ob ein Text von einer KI verfasst wurde.

„TruthChecker“ von Got it AI erzeugt unternehmenstaugliche Chatbots aus GPT-4, die einen Fakten- und Konsistenzcheck beinhalten.

(ID:49853649)