Was ist eine Halluzination (KI)

Für diesen Begriff gibt es keine einheitliche verbindliche Definition. Die belastbarste heute verfügbare Referenz ist das Profil für generative KI im Risikomanagement-Rahmenwerk des NIST, veröffentlicht im Juli 2024, das das Wort vermeidet und von Konfabulation spricht: der Produktion fehlerhafter oder falscher Inhalte, die mit Überzeugung vorgetragen werden. Dieses Dokument umfasst außerdem Ausgaben, die von dem abweichen, was verlangt wurde, und solche, die etwas zuvor im selben Gespräch Gesagtem widersprechen.

Derselbe Text hält den Einwand fest. Mehrere Kommentierende wiesen darauf hin, dass „Halluzination" und „Fabrikation" das System vermenschlichen und dass es selbst ein Risiko darstellt, einer Maschine menschliche Züge zuzuschreiben. Eine menschliche Halluzination ist eine Wahrnehmung ohne Reiz. Ein Sprachmodell nimmt nichts wahr: Es berechnet, welche Fortsetzung wahrscheinlich ist. Es Halluzination zu nennen legt einen punktuellen, fast medizinischen Defekt nahe, obwohl der Mechanismus genau jener ist, der auch die richtigen Antworten hervorbringt.

Die wissenschaftliche Kritik weist in dieselbe Richtung. Ein Aufsatz von 2024 in der Zeitschrift Ethics and Information Technology vertritt die These, dass der Begriff die Aufmerksamkeit auf ein vermeintliches Versagen lenkt, während für das System gerade die Gleichgültigkeit dagegen kennzeichnend ist, ob das Gesagte wahr ist. Für den praktischen Gebrauch ist das Wort bereits etabliert, nützlich ist daher zu wissen, was es beschreibt und was es verdeckt.

Ein Sprachmodell erzeugt Text, indem es Schritt für Schritt die nach den Mustern seiner Trainingsdaten wahrscheinlichste Fortsetzung wählt. Es befragt keine Faktenbasis und prüft vor dem Schreiben nichts nach. Fällt die Frage in einen von diesen Daten gut abgedeckten Bereich, fällt die wahrscheinliche Fortsetzung mit der wahren zusammen. Ist er es nicht, erzeugt das System weiterhin eine wahrscheinliche Fortsetzung, und diese Fortsetzung kann falsch sein. Der innere Vorgang ist in beiden Fällen identisch, und deshalb ändert sich der sichere Ton nicht.

Daraus ergeben sich die üblichen Muster. Das Modell setzt einen plausiblen Produktnamen zusammen, den dein Katalog nicht führt, schreibt dir einen Firmensitz oder ein Gründungsjahr zu, die zur Branche passen, erfindet eine Quellenangabe mit korrektem Format und glaubwürdigem Autor oder konstruiert eine stimmige Begründung, die eine falsche Antwort rechtfertigt. Die erfundene Begründung ist besonders irreführend, weil sie wie ein Beleg aussieht.

Das Abrufen externer Dokumente verringert das Problem, beseitigt es aber nicht. Bringt die Suche die falsche Quelle, ist die Quelle veraltet oder enthält die abgerufene Passage die Angabe nicht, kann das Modell die Lücke wie zuvor füllen, jetzt mit einer Quellenangabe daneben, die ihr den Anschein des Geprüften gibt. Das Risiko wandert: von Gedächtnis des Modells hin zur Qualität des Abgerufenen und zur tatsächlichen Verbindung zwischen Beleg und Aussage.

Bei der Häufigkeit ist Zurückhaltung angebracht. Jeder Prozentsatz hängt vom Modell, von der Aufgabe und von der Messmethode ab, und diese drei Dinge werden selten zusammen offengelegt. Eine Zahl ohne alle drei sagt nichts aus und veraltet zudem binnen Wochen.

Davon hängt die Entscheidung ab, ob du überwachst, was die KI-Systeme über deine Marke sagen. Ein Modell kann behaupten, dein Unternehmen sei geschlossen, dir ein Produkt zuschreiben, das du nie verkauft hast, oder einem Kunden einen Preis, eine Rückgabefrist oder eine Garantiebedingung nennen, die nicht deine sind. Wer die Antwort erhält, unterscheidet nicht zwischen dem, was das System gelesen, und dem, was es zusammengesetzt hat.

Die Folge trägt der Markeninhaber. Der Nutzer beschwert sich bei deinem Kundendienst, nicht beim Anbieter des Modells. Und betrifft die Aussage regulierte Angaben wie Vertragsbedingungen oder Eigenschaften eines Medizin- oder Finanzprodukts, ist das Problem nicht mehr nur ein Reputationsproblem.

Es gibt einen Teil, den du sehr wohl steuerst. Ein großer Teil der Erfindungen über eine Marke entsteht aus Lücken: Informationen, die nirgends veröffentlicht sind, oder die zwischen deiner Website, deinem Unternehmenseintrag und deinen externen Profilen widersprüchlich veröffentlicht sind. Diese Lücken mit ausdrücklichen, datierten und übereinstimmenden Angaben zu schließen verkleinert die Fläche, auf der das System improvisiert. Was du nicht steuerst, ist die Ausgabe des Modells, und deshalb gehört die regelmäßige Überwachung zur Arbeit.

• Veröffentliche die überprüfbaren Daten deines Unternehmens auf deiner eigenen Domain (Firmenname, Sitz, Gründungsjahr, gültiges Sortiment, Bedingungen) und halte dieselbe Fassung in Einträgen und externen Profilen.
• Datiere Seiten, deren Informationen verfallen, etwa Preise, Fristen und Verfügbarkeit, damit ein alter Stand nicht als aktuell gelesen wird.
• Prüfe regelmäßig, was die KI-Systeme über deine Marke antworten, mit einem festen Satz an Fragen, und sichere die vollständige Antwort samt Modell und Datum.
• Halte jede gefundene Falschaussage in einem Dokument mit Screenshot, Datum und System fest, um das Muster und seine Entwicklung belegen zu können.
• Behandle jeden generierten Text, der veröffentlicht werden soll, als Entwurf: Prüfe Zahlen, Eigennamen, Zitate und Links gegen die Originalquelle, bevor du ihn veröffentlichst.
• Stellst du einen anhaltenden Fehler mit Wirkung fest, nutze den Meldeweg des Anbieters und korrigiere parallel die öffentliche Quelle, die ihn ausgelöst haben könnte.

• Sicheren Ton mit Verlässlichkeit verwechseln: Eine bestimmte Formulierung sagt nichts darüber aus, ob der Inhalt richtig ist.
• Das Modell selbst fragen, ob es etwas erfunden hat, und seine Antwort als Prüfung akzeptieren.
• Eine Angabe für geprüft halten, weil eine Quelle danebensteht, ohne den Link zu öffnen und nachzusehen, ob die Passage das sagt.
• Halluzinationsquoten nennen, ohne Modell, Aufgabe und Methode anzugeben, oder Zahlen aus Studien vergleichen, die Verschiedenes gemessen haben.
• Behaupten, ein bestimmtes Modell irre häufiger als ein anderes, ohne datierte Quelle, obwohl sich die Versionen alle paar Wochen ändern.