Von einer Halluzination spricht man, wenn ein KI-System Aussagen generiert, die sachlich falsch, nicht belegt oder komplett erfunden sind. Das Problem entsteht, weil Modelle sprachlich wahrscheinliche Antworten erzeugen, ohne deren Wahrheit selbst zu prüfen.
Besonders problematisch ist, dass diese Fehler oft sehr überzeugend formuliert sind. Dadurch können falsche Quellen, erfundene Fakten oder unzutreffende Zusammenfassungen unbemerkt übernommen werden.
Halluzinationen machen deutlich, warum menschliche Kontrolle (Human-in-the-Loop) unverzichtbar bleibt. Ergebnisse von KI sollten gerade bei wichtigen Entscheidungen, rechtlichen Themen oder Faktenrecherche immer geprüft werden.