Als Halluzination bezeichnet man eine Ausgabe eines KI-Modells, die falsche oder irreführende Informationen enthält, diese aber sicher und plausibel als Fakt präsentiert. Bei Sprachmodellen entstehen Halluzinationen, weil das Modell nicht auf eine Wissensdatenbank zugreift, sondern statistisch das jeweils wahrscheinlichste nächste Token vorhersagt – klingt eine erfundene Angabe sprachlich stimmig, kann sie ausgegeben werden, obwohl sie sachlich falsch ist.
Typische Formen sind erfundene Quellen, falsche Zahlen, nicht existierende Zitate oder Personen. Fachlich wird der Begriff kritisiert: Viele Forschende halten „Konfabulation" für treffender, da das Modell keine Sinneswahrnehmung hat, sondern Wissenslücken plausibel auffüllt.
Halluzinationen sind ein zentrales Zuverlässigkeitsproblem generativer KI. Gegenmaßnahmen sind unter anderem RAG (Antworten an belegte Quellen binden), das Angeben von Quellen, Faktenprüfung. Ganz ausschließen lassen sich Halluzinationen mit heutiger Technik nicht.