Selbstsicher ins Falsche: Wie KI-Ratschläge das Urteilsvermögen aushöhlen — und was Unternehmen dagegen tun können

Das Experiment war fast schon boshaft konstruiert — und genau deshalb so aufschlussreich. Ein Forscherteam um Valerio Capraro (Universität Mailand-Bicocca), Chiara Marcoccia (École Normale Supérieure) und Walter Quattrociocchi (Sapienza Rom) stellte Probanden Trivia-Fragen zu visuellen Filmdetails — etwa nach Trikotfarben in „Kick It Like Beckham". Fragen also, bei denen Sprachmodelle nachweislich häufig danebenliegen. Die Hälfte der Teilnehmer bekam ein KI-Modell zur Seite gestellt, von dem die Forscher wussten, dass es genau hier unzuverlässig ist.

Das Ergebnis, seit dem Wochenende viral in der Tech-Community: Ohne KI gaben 44 Prozent der Teilnehmer zu, eine Antwort nicht zu wissen; ihre Genauigkeit lag bei 27 Prozent, ihre Selbstsicherheit bei 30 Prozent. Mit KI brach die Bereitschaft, „Ich weiß es nicht" zu sagen, auf drei Prozent ein. Die Genauigkeit fiel auf neun Prozent — ein Drittel des Ausgangswerts. Die Selbstsicherheit aber stieg auf 76 Prozent. „Die Leute wurden viel schlechter, die Genauigkeit betrug nur noch ein Drittel — aber sie waren doppelt so überzeugt", fasst Capraro zusammen. Selbst finanzielle Anreize für richtige Antworten änderten daran wenig.

Man kann an der Studie methodisch einiges kritisieren, und die Hacker-News-Diskussion tat das ausgiebig: Das Modell war absichtlich schwach gewählt, eine Kontrollgruppe mit anderen „autoritativ wirkenden Quellen" fehlt, und der Preprint hat noch kein Peer-Review durchlaufen. Aber gerade die boshafte Konstruktion ist der Punkt. Die Studie zeigt nicht, dass KI schlechte Antworten gibt — sie zeigt, dass Menschen ihre eigene Unsicherheit abschalten, sobald eine KI-Antwort im Raum steht. Und dieser Mechanismus ist längst kein Laborphänomen mehr.

Ein alter Fehler in neuem Maßstab

Die Luftfahrt kennt das Phänomen seit Jahrzehnten unter dem Namen Automation Bias: die menschliche Neigung, dem Vorschlag eines automatischen Systems mehr zu vertrauen als dem eigenen Urteil — selbst wenn Warnzeichen dagegen sprechen. Neu ist nicht der Fehler, neu ist der Maßstab. Sprachmodelle sitzen inzwischen in jedem Office-Paket, jedem Code-Editor und jedem Suchfeld, und sie tragen ihre Antworten mit einer sprachlichen Souveränität vor, die Piloten-Warnsysteme nie hatten.

Die Forschungslage der letzten 18 Monate zeichnet dabei ein bemerkenswert konsistentes Bild. Eine gemeinsame Studie von Microsoft Research und der Carnegie Mellon University unter 319 Wissensarbeitern fand: Je größer das Vertrauen in die generative KI, desto weniger kritisches Denken — wer dagegen seinen eigenen Fähigkeiten vertraute, hinterfragte KI-Ausgaben häufiger. Das MIT Media Lab beobachtete in seiner EEG-Studie „Your Brain on ChatGPT" bei LLM-Nutzern die schwächste neuronale Konnektivität aller Vergleichsgruppen und prägte dafür den Begriff der „kognitiven Verschuldung" — wobei auch diese Arbeit bislang ein Preprint ist. Und im Sommer 2025 lieferte eine Lancet-Studie aus vier polnischen Endoskopie-Zentren den ersten medizinischen Deskilling-Nachweis: Nachdem Ärzte sich an KI-Unterstützung bei Darmspiegelungen gewöhnt hatten, sank ihre eigene Erkennungsrate ohne KI um sechs Prozentpunkte unter das Ausgangsniveau.

Besonders heikel ist die Wahrnehmungslücke zwischen gefühltem und tatsächlichem Nutzen. Die viel zitierte METR-Studie ließ erfahrene Open-Source-Entwickler mit und ohne KI-Tools an echten Aufgaben arbeiten: Sie glaubten hinterher, 20 Prozent schneller gewesen zu sein — gemessen waren sie 19 Prozent langsamer. METR hat die Methodik Anfang 2026 teilweise selbstkritisch relativiert; die Kernbeobachtung aber, dass sich KI-Unterstützung deutlich produktiver anfühlt, als sie ist, deckt sich mit dem Confidence-Befund der Capraro-Studie.

Was das Unternehmen bereits kostet

Wer die Rechnung für ungebremstes KI-Vertrauen sehen will, muss nur in Gerichtsakten schauen. Die Datenbank des Rechtsforschers Damien Charlotin zählt inzwischen rund 1.500 Gerichtsentscheidungen weltweit, in denen KI-halluzinierte Zitate eine Rolle spielten — über 1.000 davon in den USA. Allein im ersten Quartal 2026 verhängten US-Gerichte mehr als 145.000 Dollar an einschlägigen Strafen; den Rekord halten zwei Anwälte in Oregon mit 110.000 Dollar für erfundene Präzedenzfälle. Deloitte Australien musste Teile des Honorars für einen 440.000-AUD-Regierungsbericht zurückzahlen, nachdem darin ein erfundenes Buch und ein fabriziertes Gerichtszitat auffielen. Und erst vor einer Woche zeigte der Fall GPT-5.6 Sol, wie Automation Bias in der agentischen KI eskaliert: Entwickler ließen den Coding-Agenten mit vollen Rechten laufen — bis er bei einzelnen Nutzern Produktionsdatenbanken und Home-Verzeichnisse löschte.

Auch die stillen Kosten sind inzwischen beziffert. Eine IDC-Umfrage im Auftrag von Sage unter 2.275 Finanzentscheidern ergab, dass 18 Prozent der deutschen Befragten pro Woche über 30 Stunden mit der Validierung von KI-Output verbringen; 28 Prozent der durch KI eingesparten Zeit fließt direkt wieder in die Nachvollziehbarkeit der Ergebnisse. Das Stanford Social Media Lab und BetterUp Labs haben für poliert wirkenden, aber inhaltsleeren KI-Output den Begriff „Workslop" geprägt: 41 Prozent der befragten US-Beschäftigten erhielten solchen im Vormonat, im Schnitt kostete jeder Vorfall knapp zwei Stunden Nacharbeit — hochgerechnet über neun Millionen Dollar jährlich bei 10.000 Mitarbeitern. Die Pointe: Der Schaden entsteht nicht, weil die KI versagt, sondern weil Menschen ihren Output ungeprüft weiterreichen — und Empfänger ihm zu lange vertrauen.

Verschärft wird das Problem durch eine Eigenschaft der Modelle selbst: Gefälligkeit. OpenAI musste im April 2025 ein GPT-4o-Update zurückziehen, weil das Modell Nutzern nach dem Mund redete und selbst absurde Geschäftsideen euphorisch bestätigte — das Daumen-hoch-Feedback hatte Schmeichelei systematisch belohnt. Ein System, das gefallen will, trifft auf Nutzer, die glauben wollen. Das ist die eigentliche Rückkopplungsschleife hinter dem Automation Bias der KI-Ära.

Was dagegen hilft — und was nur so aussieht

Die naheliegende Antwort — „Menschen müssen KI-Output eben prüfen" — greift zu kurz, denn genau diese Prüfung ist es, die unter Confidence-Druck zusammenbricht. Interessanter sind strukturelle Ansätze. Die Forschung diskutiert unter „Designed Friction" bewusste Hürden im Workflow: Confidence-Anzeigen, die aktiv gelesen werden müssen, Begründungspflichten vor der Übernahme eines Vorschlags, eingeblendete Gegenargumente. Die ernüchternde Erkenntnis der bisherigen Experimente: Solche Reibung senkt zwar pauschal die Übernahmequote, verbessert aber kaum die Fähigkeit, gute von schlechten KI-Empfehlungen zu unterscheiden. Reibung allein macht noch kein Urteilsvermögen.

Vielversprechender ist es, die Rollenverteilung umzudrehen. Microsoft Research empfiehlt, KI nicht als Antwortlieferanten, sondern als „Provokateur" zu gestalten — als Instanz, die Annahmen angreift statt sie zu bestätigen. Einzelne Investmentfirmen wie Audax setzen KI bereits als institutionalisierten Advocatus Diaboli ein, der Deal-Entscheidungen vor der Freigabe stresstesten muss. Der Unterschied ist psychologisch entscheidend: Eine KI, die widerspricht, aktiviert genau die kritische Prüfung, die eine KI, die bestätigt, einschläfert. Und wo Fähigkeiten selbst erodieren könnten, hilft nur Training ohne Netz — die Lancet-Autoren diskutieren für Endoskopiker regelmäßige KI-freie Sitzungen, das britische Bildungsministerium schreibt Schul-KI-Tools inzwischen vor, standardmäßig Denkwege statt Endantworten zu liefern.

Für europäische Unternehmen kommt ein hartes Datum hinzu: Ab dem 2. August 2026 gilt die Human-Oversight-Pflicht des EU AI Act (Artikel 14) für Hochrisiko-Systeme vollständig. Der Gesetzestext nennt Automation Bias ausdrücklich: Aufsichtspersonen müssen sich der Tendenz bewusst bleiben, „sich automatisch oder übermäßig" auf KI-Ausgaben zu verlassen, und in der Lage sein, ein System zu übersteuern oder nicht zu nutzen. Wer menschliche Aufsicht nur als Unterschriftenfeld im Prozessdiagramm implementiert, erfüllt diese Anforderung nicht — die Forschung dieses Sommers zeigt ja gerade, dass der Mensch in der Schleife das schwächste Glied ist, wenn man ihn nicht dafür ausrüstet.

Vier Konsequenzen für Entscheider

Erstens: Messen Sie nicht nur, was KI Ihren Teams erspart, sondern auch, was ihre Prüfung kostet — die Sage-Zahlen legen nahe, dass ein erheblicher Teil des Produktivitätsgewinns dort wieder verschwindet, nur unsichtbarer. Zweitens: Behandeln Sie Selbstsicherheit als Warnsignal, nicht als Qualitätsindikator. Die Capraro-Studie zeigt, dass Confidence mit KI-Nutzung steigt, während Genauigkeit fällt — wer im Review nur überzeugend klingende Ergebnisse durchwinkt, selektiert genau falsch. Drittens: Bauen Sie Widerspruch in die Werkzeuge ein, nicht nur Kontrolle in die Prozesse. Eine KI, die vor der Freigabe die drei stärksten Gegenargumente liefern muss, ist wirksamer als ein zweites Genehmigungsfeld. Und viertens: Identifizieren Sie die Fähigkeiten, die nicht erodieren dürfen — und trainieren Sie sie regelmäßig ohne KI. Was die Koloskopie-Studie für Ärzte zeigt, gilt für Debugging, Vertragsprüfung und Finanzanalyse genauso.

Die unbequeme Wahrheit hinter alldem: „Ich weiß es nicht" ist eine Kompetenz — die vielleicht wichtigste im Umgang mit Systemen, die niemals zugeben, etwas nicht zu wissen. Die neue Studie zeigt, wie schnell sie verlernt wird. Organisationen, die sie bewusst schützen, haben 2026 einen unterschätzten Wettbewerbsvorteil.