Gestern ist mir wieder bewusst geworden, wie wichtig es ist, dass wir bei KI nicht nur staunen, sondern auch prüfen. Ich schreibe diesen Text, weil ich selber erlebt habe, wie hartnäckig ein Modell an einer falschen Behauptung festhalten kann – und weil mir dabei klar wurde, wie schnell KI Halluzinationen zu einem Problem werden, das uns alle betrifft.
Ich wollte nur etwas klären, das eigentlich keine Diskussion zulassen sollte: die Autorenschaft meines eigenen Buches. Die KI hat selbstbewusst behauptet, das Buch sei von einer anderen Persönlichkeit geschrieben worden. Ich habe nicht einfach „Aha“ gesagt. Ich habe nach Belegen gefragt, nach Quellen, nach einer erneuten Prüfung. Ich habe mehrfach nachgehakt. Und trotzdem kam ich in eine Art Endlosschlaufe: immer neue Formulierungen, immer neue scheinbar plausible Hinweise – aber keine saubere, überprüfbare Grundlage. Erst als ich eine Seite mit direkter, klarer Zuordnung zeigte, hat das Modell nachgegeben.
Ich habe diesen Dialog im offenen Chat von Google Gemini geführt, weil er schnell ist und man im Alltag gern mal „kurz“ etwas nachschlägt. Und genau das war mein Aha-Moment: Geschwindigkeit ist verführerisch. Sie lässt uns glauben, wir hätten gerade Wissen erhalten – dabei haben wir oft nur eine gut klingende Antwort bekommen. Und genau dort entstehen KI-Halluzinationen: nicht als böse Absicht, sondern als überzeugend formulierte Ungenauigkeit, die plötzlich wie ein Fakt wirkt.
Seit gestern denke ich über eine Frage nach, die größer ist als mein Problem, wer hat das Buch geschrieben: Was passiert, wenn eine KI nicht nur einen Namen verwechselt, sondern einen ganzen historischen Zusammenhang erfindet? Eine Konferenz, die es nie gab. Ein Zitat, das niemand gesagt hat. Eine Jahreszahl, die gut klingt, aber falsch ist. Ein „Kontext“, der so stimmig wirkt, dass man ihn sofort weitererzählt.
Und dann kommt das, was ich am gefährlichsten finde: Die Erfindung bleibt nicht im Chatfenster. Jemand übernimmt sie in einen Blogartikel. Oder in einen Text, der seriös wirkt, weil er sauber geschrieben ist und professionell publiziert wurde. Plötzlich hat die Falschinformation einen Anzug an. Sie sieht aus wie Wahrheit. So können KI Halluzinationen plötzlich auf ganz normalen Websites landen und damit in unserer gemeinsamen Informationswelt.
Dass das nicht nur ein theoretisches Szenario ist, zeigt ein sehr bekanntes Beispiel aus der Praxis: In den USA wurden Anwälte sanktioniert, weil in einem Schriftsatz Gerichtsentscheide zitiert wurden, die es gar nicht gab, sie stammten aus einem Chatbot. Dieses Beispiel ist so drastisch, weil es zeigt, wie schnell ein Mensch KI-Ausgaben als „recherchiert“ behandelt, wenn der Ton überzeugend ist.
Jetzt kommt der Punkt, an dem es für uns als Gesellschaft kritisch wird: KI-Modelle werden unter anderem mit öffentlich zugänglichen Informationen aus dem Internet entwickelt. Das sagen die Anbieter selbst. Wenn also Falschinformationen publiziert werden und im Netz herumliegen, besteht zumindest die Möglichkeit, dass sie später wieder in Datensammlungen auftauchen, aus denen Modelle lernen. OpenAI beschreibt ausdrücklich, dass die Entwicklung seiner Basismodelle auf einem Mix aus öffentlich verfügbaren Internetinformationen, Partnerdaten und Daten beruht, die Nutzer, menschliche Trainer und Forschende bereitstellen oder erzeugen. In einer weiteren Darstellung erklärt OpenAI auch, dass dabei „branchenübliche Datensätze und Web-Crawls“ eingesetzt werden.
Und als wäre das nicht schon kompliziert genug, erleben wir gleichzeitig eine zweite Welle: das Netz füllt sich zunehmend mit maschinell erzeugtem Masseninhalt. Medien berichten aktuell sehr konkret darüber – zum Beispiel über die Frustration von Pinterest-Nutzern, weil dort immer mehr „AI slop“ auftaucht, also generischer, künstlich erzeugter Inhalt, der echte Inspiration verdrängt. Pinterest reagiert inzwischen sogar mit Werkzeugen, um den Anteil solcher Inhalte im Feed zu drosseln. Wenn Plattformen bereits Regler einbauen müssen, um Menschen vor synthetischem Überfluss zu schützen, dann sagt das etwas über die Richtung, in die wir uns bewegen – und warum KI-Halluzinationen nicht nur eine Einzelpanne sind, sondern ein gesellschaftliches Thema.
Hier knüpft ein Begriff aus der Forschung an, den man kennen sollte: Model Collapse – auf Deutsch sinngemäß „Modell-Zerfall“. Eine viel zitierte Nature-Arbeit beschreibt, dass Modelle, die über Generationen „gedankenlos“ mit Daten trainiert werden, die andere Modelle produziert haben, nach und nach wichtige Eigenschaften der ursprünglichen Datenverteilung verlieren. Vereinfacht gesagt: Wenn zu viel KI-Output in den Lernkreislauf zurückfließt, kann das System beginnen, die Welt verzerrt zu lernen. Fehler werden nicht automatisch korrigiert, sondern können sich im schlechtesten Fall stabilisieren. Genau hier steckt das Risiko, dass sich KI-Halluzinationen langfristig „festsetzen“ können, wenn sie oft genug reproduziert und weitergetragen werden.
Heißt das, dass ein Modell, sobald es einmal etwas Falsches „gelernt“ hat, es nie mehr loswird? Das wäre zu absolut. Aber es bedeutet etwas, das im Alltag entscheidend ist: Ein Sprachmodell hat keinen eingebauten Wahrheitskompass, der zuverlässig erkennt, ob ein Satz in der realen Welt stimmt. Es produziert Sprache, die passt. Und wenn eine falsche Geschichte häufig genug in Texten auftaucht, kann sie „normal“ wirken obwohl sie ursprünglich nur eine Halluzination war. Genau darum sind KI-Halluzinationen so tückisch: Sie kommen im Gewand der Plausibilität.
Was machen die Hersteller dagegen? Sie versuchen, das Problem nicht an einer einzigen Stelle zu lösen, sondern die Fehlerkette zu unterbrechen.
Ein wichtiger Ansatz ist Herkunftssicherheit: Die C2PA-Spezifikation („Content Credentials“, also sinngemäß „Inhaltsnachweise“) beschreibt, wie man Herkunft und Bearbeitung digitaler Inhalte in einer nachvollziehbaren, manipulationssichtbaren Kette festhalten kann. C2PA betont dabei selbst, dass diese Nachweise kein Wundermittel gegen Falschinformationen sind. Sie können Medienkompetenz und Faktenprüfung ergänzen – aber sie ersetzen sie nicht. Für mich ist das ein wichtiger Gedanke: Technik kann helfen, aber sie nimmt uns nicht die Verantwortung ab, genau hinzuschauen, wenn etwas wichtig ist.
Ein zweiter Ansatz ist die Suche nach verlässlicher Erkennung. Doch auch hier ist die Realität ernüchternd: OpenAI hat seinen eigenen KI-Text-Classifier wieder eingestellt, weil die Genauigkeit zu niedrig war. Das ist wichtig, weil es uns zeigt: „Erkennen und ausfiltern“ ist schwieriger, als viele hoffen. Und es erklärt auch, warum wir im Alltag weiterhin mit KI-Halluzinationen rechnen müssen.
Ein dritter Ansatz ist das, was man oft unter dem Kürzel RAG findet. Das steht für „Retrieval-Augmented Generation“ – auf Deutsch kann man es als „Abruf-gestützte Generierung“ erklären. Die Idee ist simpel: Das Modell soll nicht nur aus dem Gedächtnis formulieren, sondern beim Antworten gezielt externe Dokumente abrufen und sich daran orientieren. In einem NAACL-Industry-Paper berichten die Autoren, dass ihr RAG-Ansatz Halluzinationen in strukturierten Ausgaben deutlich reduzieren konnte. Das löst nicht alles, aber es zeigt: Wenn man KI an überprüfbare Quellen bindet, wird sie im richtigen Setup vorsichtiger und verlässlicher – und KI-Halluzinationen werden weniger wahrscheinlich.
Und dann gibt es noch eine Entwicklung, die ich persönlich spannend finde: „Thinking“-Modelle – Modelle, die vor der Antwort stärker „durchdenken“. Google beschreibt die Gemini-2.5-Reihe ausdrücklich als „thinking models“, die vor dem Antworten einen Denkprozess nutzen sollen, was die Genauigkeit verbessern kann. Ich würde nie behaupten, damit sei man sicher vor Fehlern. Aber es ist ein Zeichen dafür, dass die Hersteller das Problem ernst nehmen und an der Tiefe der Antworten arbeiten, nicht nur am Tempo.
Trotzdem bleibt der Teil, den wir nicht outsourcen können: unsere eigene Sorgfalt.
Denn die gefährlichsten Halluzinationen sind nicht die absurden. Die gefährlichsten sind die, die so gut erzählt sind, dass wir sie ohne Widerstand übernehmen. Genau deshalb ist Prüfen keine Pedanterie, sondern Gemeinschaftsschutz. Jedes Mal, wenn wir KI-Text ungeprüft weitergeben, verschmutzen wir den Informationsraum, in dem andere ihre Entscheidungen treffen. Und jedes Mal, wenn wir sauber prüfen, helfen wir mit, dass KI Halluzinationen nicht zur Normalität werden.
Und hier wird es zeitlich brisant: Epoch AI und die dazugehörige Forschung argumentieren, dass der Vorrat an hochwertigem, öffentlich verfügbarem, menschlich geschriebenem Text als Trainingsmaterial begrenzt ist. Je nach Annahmen könnte er in einem Zeitraum von wenigen Jahren knapp werden; öffentlich diskutiert wird dabei auch das Szenario „so früh wie 2026“, häufig im Rahmen einer Spanne bis in die frühen 2030er. Das bedeutet nicht, dass dann „nichts mehr geht“. Es bedeutet aber, dass Qualität noch wertvoller wird – und dass wir uns keinen Luxus leisten können, unser Netz mit ungeprüften Erfindungen vollzuschreiben.
Mein gestriger Chat hat mir das auf eine unangenehm klare Art gezeigt: Eine KI kann hartnäckig sein, auch wenn sie falsch liegt. Und genau deshalb müssen wir hartnäckig bleiben, wenn es um Belege geht. Nicht aus Misstrauen, sondern aus Verantwortung.
Wir werden KI-Halluzinationen nicht vollständig verhindern. Aber wir können verhindern, dass wir sie beschleunigen. Wir können Zeit gewinnen – und diese Zeit ist wertvoll.
Referenten für Künstliche Intelligenz
Bleiben Sie in Kontakt und folgen Sie mir auf Social Media! Klicken Sie einfach unten auf die schwarzen Icons. Wenn Ihnen dieser Beitrag gefällt, teilen Sie ihn bitte mit den farbigen Icons auf der rechten Seite.
Schreibe einen Kommentar