Wenn die KI sich Fakten ausdenkt: Das Halluzinations-Problem in Beratung, Recht und Verwaltung 2026

Ein Bericht, der sich selbst widerlegt

Es ist eine Pointe, die man sich nicht ausdenken könnte: KPMG, eine der vier größten Wirtschaftsprüfungs- und Beratungsgesellschaften der Welt, veröffentlichte einen Report über die Exzellenz „im Zeitalter agentischer KI“. Diese Woche musste die Firma ihn stillschweigend von ihren Websites nehmen — weil der Text selbst zum Lehrstück für das Versagen wurde, das er eigentlich beraten wollte. Von 45 Quellenangaben verwiesen laut der Erkennungsfirma GPTZero nur fünf korrekt auf reale Quellen. 40 Titel waren erfunden. Fallstudien über KI-Projekte bei UBS, dem britischen Gesundheitsdienst NHS, den Schweizerischen Bundesbahnen und Transport for London stellten sich als frei erdacht heraus; die genannten Organisationen dementierten gegenüber der Financial Times.

Fast zeitgleich, einige hundert Kilometer entfernt, ermittelt die Polizei von Derbyshire strafrechtlich gegen einen eigenen Beamten: Er soll in mehreren Fällen KI genutzt haben, um Beweismaterial zu fabrizieren. Zwei Geschichten, dieselbe Wurzel. Die Technologie, die als Produktivitätswunder verkauft wird, hat eine Eigenschaft, die sich auch 2026 nicht wegtrainieren lässt: Sie erfindet Dinge — überzeugend, flüssig und ohne Vorwarnung. Für CEOs, Produktverantwortliche und Tech-Leads ist das keine akademische Randnotiz mehr, sondern eine Frage von Haftung, Reputation und Prozessrisiko.

Warum Maschinen lügen, ohne es zu wollen

Zuerst das Grundprinzip, in einfachen Worten. Ein Sprachmodell sagt nicht die Wahrheit nach. Es erzeugt den statistisch plausibelsten nächsten Text. Solange die plausibelste Fortsetzung zufällig die Wahrheit ist, funktioniert das hervorragend. Wenn das Modell aber etwas nicht weiß, füllt es die Lücke trotzdem — mit etwas, das richtig klingt. Es ist wie ein Prüfling, der bei einer schweren Frage rät, statt „Ich weiß es nicht“ zu sagen. Diese Erfindungen nennt man Halluzinationen oder, präziser, Konfabulationen.

Die wichtigste Erkenntnis des vergangenen Jahres ist, dass dieses Verhalten kein Bug ist, sondern eine antrainierte Eigenschaft. In einer vielbeachteten Arbeit vom September 2025 („Why Language Models Hallucinate“) zeigten Forscher von OpenAI und Georgia Tech: Modelle halluzinieren nicht trotz, sondern wegen der Art, wie wir sie bewerten. Die gängigen Benchmarks belohnen Raten und bestrafen Ehrlichkeit. Wer „weiß nicht“ antwortet, bekommt null Punkte. Wer rät, hat zumindest eine Trefferchance. Über Hunderte solcher Tests lernt das Modell die Lektion gründlich: Im Zweifel immer eine selbstbewusste Antwort liefern. OpenAI nennt das ein „sozio-technisches Problem“ — solange einflussreiche Ranglisten das alte Anreizsystem zementieren, bleibt die Reduktion ein Kampf bergauf.

Für die Praxis in Beratung und Recht ist eine Spielart besonders gefährlich: die erfundene Quellenangabe. GPTZero hat dafür den Begriff „vibe citing“ geprägt. Das Modell erzeugt Fußnoten, die alle Merkmale echter Referenzen tragen — Autorenname, Titel, Jahr, manchmal sogar eine URL —, nur dass die Quelle nie existiert hat, zwei echte Quellen verschmolzen wurden oder ein reales Zitat bis zur Unkenntlichkeit verändert ist. Genau das macht den Schaden so tückisch: Eine halluzinierte Fußnote kündigt sich nicht an. Sie steht unauffällig im Apparat, mit glaubwürdigem Titel und einer URL, die beim Anklicken einen 404-Fehler liefert. Sichtbar wird sie erst, wenn jemand jede einzelne Referenz nachprüft.

Das Reasoning-Paradox: Mehr Nachdenken, mehr Erfindung

Eine verbreitete Hoffnung lautet: Die neuen „denkenden“ Modelle, die sich vor der Antwort Zeit zum Schlussfolgern nehmen, lösen das Problem. Die Realität ist unbequemer. Längeres Reasoning senkt Fehler bei manchen Aufgaben, aber es kann sie auch erhöhen — schlicht weil ein Modell, das mehr Aussagen pro Antwort trifft, auch mehr falsche Aussagen produziert. Bei OpenAIs Reasoning-Modellen der o-Reihe wurde im Vorjahr beobachtet, dass neuere, „klügere“ Varianten in manchen Tests häufiger halluzinierten als ihre Vorgänger. (Diese konkreten Vergleichszahlen stammen aus der Berichterstattung über ältere Modellgenerationen und sind als Illustration, nicht als aktueller Frontier-Stand zu lesen.)

Das hat eine direkte Konsequenz für den Trend des Jahres: agentische KI. Je länger und autonomer die Aufgabenkette — recherchieren, Zwischenergebnisse weiterverarbeiten, Entscheidungen aufeinanderstapeln —, desto mehr Gelegenheiten zur Konfabulation. Ein Agent, der ohne Anbindung an frische, verlässliche Daten arbeitet, erfindet bei Aufgaben, die aktuelles Wissen erfordern, spürbar häufiger. Der Sprung von „Chatbot, der eine Frage beantwortet“ zu „Agent, der eine Aufgabe erledigt“ vergrößert die Angriffsfläche für Fehler, statt sie zu verkleinern. Wer 2026 Agenten in Produktionsprozesse einbaut, kauft sich diese Eigenschaft mit ein.

Die Spur der erfundenen Urteile

Wie weit das Problem die Hochrisiko-Domänen schon durchdrungen hat, lässt sich an einem einzigen Datensatz ablesen. Der Jurist Damien Charlotin pflegt eine öffentliche Datenbank gerichtlich festgestellter KI-Halluzinationen in Rechtsdokumenten. Bis Frühjahr 2026 verzeichnet sie weit über 1.000 Fälle, in denen sich eine Partei nachweislich auf halluzinierte Inhalte stützte — Tendenz stark steigend. An einem einzigen Tag, dem 31. März 2026, dokumentierte sie 17 US-Gerichtsentscheidungen mit vermuteten KI-Halluzinationen in Schriftsätzen.

Die Sanktionen werden härter. In Oregon verurteilte ein Gericht im Mai 2026 zwei Anwälte zu zusammen rund 110.000 Dollar — für 23 erfundene Zitate und acht frei erfundene Wörtliche-Zitate, nach Berichten die bislang höchste Strafe für KI-Halluzinationen in der US-Rechtsgeschichte. In New Orleans traten zwei Anwälte der Stadtverwaltung zurück, nachdem ein Bundesrichter neun nicht existierende Zitate in einem Antrag entdeckt hatte. Der Gründungsmythos des Problems bleibt der Fall Mata v. Avianca aus dem Jahr 2023, in dem ein Anwalt ChatGPT sechs komplett erfundene Präzedenzfälle „mit plausiblen Namen und fiktiven Urteilen“ entlocken ließ. Damals war es eine Kuriosität. Heute hat dieser Fall über tausend Nachfolger.

Im Beratungssektor zeichnet sich ein paralleles Muster ab. KPMG ist nicht allein: EY zog im Mai 2026 einen Report über Betrug in Treueprogrammen zurück, in dem 16 von 27 Zitaten fabriziert oder nicht verifizierbar waren. Und Deloitte Australien musste bereits im Oktober 2025 einen Teil eines mit 439.000 australischen Dollar honorierten Regierungsberichts zurückzahlen — er enthielt erfundene Referenzen und ein falsch zugeschriebenes Zitat aus einem Bundesgerichtsurteil, ausgerechnet in einem Gutachten zur Sozialleistungs-Compliance. Drei der „Big Four“, ertappt mit demselben Fehler, während sie ihren Kunden teures KI-Governance-Wissen verkaufen.

RAG, Grounding, Kalibrierung — und warum sie nicht reichen

Die gute Nachricht: Es gibt Gegenmittel, und sie wirken. Die wichtigste Technik heißt RAG, Retrieval-Augmented Generation. In einfachen Worten: Statt das Modell aus dem Gedächtnis antworten zu lassen, schlägt man ihm zuerst in einer verlässlichen Wissensdatenbank nach und gibt ihm die gefundenen echten Dokumente als Kontext mit. Wie ein Student, der nicht ins Blaue rät, sondern erst im Lehrbuch nachsieht und dann formuliert. Antworten werden dadurch aktueller, nachprüfbar und auf konkrete Quellen zurückführbar; Studien zeigen, dass gut gemachtes Grounding Zitatfehler drastisch senkt.

Die schlechte Nachricht: RAG ist kein Sicherheitsnetz, sondern ein besseres Geländer. Seine Qualität hängt vollständig davon ab, ob die richtigen Dokumente gefunden werden und ob der Kontext ausreicht. Fehlt die entscheidende Quelle, sinkt die Qualität — und das Modell füllt die Lücke wieder mit Erfindung. Schlimmer noch: Selbst wenn das korrekte Dokument vorliegt, kann das Modell ein Ergebnis erzeugen, das dem abgerufenen Inhalt widerspricht. Es ignoriert oder verdreht die Quelle, die es gerade vor sich hat. RAG verschiebt die Fehlerquote nach unten, aber es garantiert keine Wahrheit.

Ein verwandter Ansatz ist die Kalibrierung: Ein gut kalibriertes Modell ist genau dann selbstsicher, wenn es recht hat, und signalisiert Unsicherheit, wenn es zweifelt. Das ist der eigentliche Hebel — und zugleich der, an dem das Training scheitert. Solange Ranglisten ehrliche Unsicherheit mit null Punkten bestrafen, bleibt die Fehlkalibrierung erhalten. Werkzeuge wie GPTZero, die KI-Zitate forensisch nachprüfen, sind heute der pragmatische Notbehelf — aber sie greifen erst nach der Veröffentlichung. Im Fall KPMG war der Schaden längst entstanden, als die Prüfung lief.

Das eigentliche Versagen ist menschlich

Hier liegt der unbequeme Kern für jede Organisation. Fast alle Governance-Konzepte setzen auf denselben Rettungsanker: „Human in the Loop“ — ein Mensch prüft, bevor etwas hinausgeht. KPMG schreibt menschliche Validierung sogar ausdrücklich vor. Und trotzdem ging der halluzinierte Report hinaus. Warum?

Die Antwort heißt Automation Bias: die gut belegte Tendenz von Menschen, automatisch erzeugten Ergebnissen übermäßig zu vertrauen und widersprechende Hinweise abzuwerten. Unter Zeitdruck, bei Alarmmüdigkeit und Informationsüberflutung wird aus der vorgesehenen Kontrolle ein Abnicken — „rubber-stamping“. Eine perfekt formatierte Fußnote mit plausibler Quelle lädt geradezu zum Durchwinken ein. Die menschliche Aufsicht erzeugt dann die Illusion von Kontrolle, ohne sie auszuüben. Genau deshalb ist „dann schaut halt jemand drüber“ keine ernsthafte Risikostrategie, sondern eine Hoffnung.

Bemerkenswerterweise hat der Gesetzgeber das erkannt. Der EU AI Act, dessen zentrale Pflichten für Hochrisiko-Systeme ab dem 2. August 2026 greifen, adressiert in Artikel 14 die menschliche Aufsicht namentlich — und verlangt ausdrücklich, dass Systeme so gestaltet sein müssen, dass die aufsichtsführende Person Automation Bias und Over-Reliance vermeidet, die Grenzen des Systems versteht und es notfalls stoppen kann. Hochrisiko umfasst dabei genau die Domänen dieser Reportage: Strafverfolgung, öffentliche Verwaltung, Justiz. Die Praxis — KPMG, Derbyshire — zeigt, wie schwer dieser Anspruch durchzusetzen ist.

Was Unternehmen jetzt tun sollten

Drei Konsequenzen lassen sich für Entscheider festhalten. Erstens: Halluzination ist ein Produktrisiko, kein Schönheitsfehler. Wer KI-Output veröffentlicht, einreicht oder als Beweis verwendet, haftet für dessen Wahrheitsgehalt — die Maschine tut es nicht. Bei Due Diligence, Gutachten und Schriftsätzen gehört eine systematische, nicht eine optionale Zitatprüfung in den Prozess. Zweitens: „Human Oversight“ muss als echter Arbeitsschritt mit Zeit, Mandat und Werkzeug ausgestattet werden, nicht als Formalie am Ende einer ausgereizten Deadline. Ein Prüfer ohne Zeit ist ein Stempel, kein Schutz. Drittens: Grounding und RAG sind sinnvoll und sollten Standard sein — aber sie sind die Untergrenze des Vertretbaren, nicht die Garantie. Je autonomer die Agentenkette, desto mehr Kontrollpunkte braucht sie, nicht weniger.

Die unbequemste Wahrheit des Jahres 2026 ist, dass die Modelle besser geworden sind und das Problem trotzdem bleibt. Frontier-Modelle halluzinieren heute seltener als noch vor zwei Jahren, aber „seltener“ ist nicht „nie“ — und in Recht, Beratung und Verwaltung ist der seltene Fall der teure Fall. Die Organisationen, die mit KI vorankommen, werden nicht die sein, die ihr blind vertrauen, sondern die, die ihr Misstrauen produktiv organisieren: mit Verifikation als Routine, mit Aufsicht, die diesen Namen verdient, und mit der nüchternen Annahme, dass eine flüssige, selbstsichere Antwort genau deshalb gefährlich sein kann.