Halluzination
Eine Halluzination ist eine sprachlich plausible, aber sachlich falsche oder erfundene Aussage eines Sprachmodells, etwa ein nicht existierendes Urteil.
Sprachmodelle erzeugen Text, der zu ihrer Eingabe passt, nicht Text, der geprüft wahr ist. Fehlt dem Modell die Information, füllt es die Lücke mit dem, was statistisch wahrscheinlich klingt: eine Norm mit falscher Nummer, ein Gerichtsurteil, das es nicht gibt, eine Kennzahl ohne Grundlage. Solche Ausgaben werden als Halluzinationen bezeichnet.
Halluzinationen sind kein Fehler, der sich einfach abstellen lässt, sondern eine Folge der Funktionsweise. Sie treten häufiger auf, wenn die Frage außerhalb der Trainingsdaten liegt, wenn der Kontext knapp ist oder wenn das Modell zu einer Antwort gedrängt wird, die es nicht belegen kann.
Es gibt wirksame Gegenmaßnahmen. Retrieval-Augmented Generation gibt dem Modell die passenden Textstellen mit, Quellenangaben machen jede Aussage nachprüfbar, und ein System-Prompt kann das Modell anweisen, bei fehlender Grundlage keine Antwort zu erfinden. Vollständig verschwinden Halluzinationen damit nicht, sie werden aber seltener und erkennbar.
Was das für Ihr Unternehmen bedeutet
Im Unternehmensalltag ist die wichtigste Maßnahme organisatorisch: Wer KI-Antworten nutzt, bleibt für sie verantwortlich und prüft sie, bevor sie nach außen gehen. Anwendungen, die zu jeder fachlichen Aussage Dokument und Abschnitt nennen, machen diese Prüfung zu einem Klick statt zu einer Recherche. Das Wissen um Halluzinationen gehört zu den Grundlagen, die Artikel 4 des EU AI Act als KI-Kompetenz verlangt.