Der Vertrauensvorschuss — warum wir KI zu schnell glauben, und was Automation Bias 2026 kostet

Eine Illusion, die schon vor dem ersten Wort beginnt

Stellen Sie sich zwei Berater vor, die Ihnen exakt dieselbe Antwort geben — Wort für Wort, gleich schnell, gleich knapp. Der eine ist ein Mensch, der andere eine KI. Wem glauben Sie eher? Eine im April 2026 in Communications Psychology (Nature Portfolio) veröffentlichte Studie der Psychologin Clara Colombatto (University of Waterloo) und des Kognitionsforschers Stephen Fleming (UCL) liefert eine unbequeme Antwort: Wir schreiben der KI systematisch mehr Selbstsicherheit zu — selbst wenn ihr Verhalten identisch ist.

In sieben vorregistrierten Experimenten beobachteten Teilnehmende menschliche und künstliche Agenten bei Wahrnehmungs- und Wissensaufgaben und schätzten ein, wie zuversichtlich der jeweilige Agent wirkte. Das verblüffende Ergebnis: Die zugeschriebene Sicherheit hing nicht primär davon ab, wie gut der Agent tatsächlich abschnitt, sondern von der Vorab-Überzeugung der Beobachter über dessen Fähigkeiten. Wer KI für kompetent hielt, unterstellte ihr hohe Sicherheit — „selbst wenn diese Überzeugung gar nicht gerechtfertigt war“, so Colombatto. Eine Manipulation der Erwartung verschob die Zuschreibung kausal. Der Vertrauensvorschuss entsteht also, bevor die Maschine überhaupt etwas gesagt hat.

Pikant für die Praxis ist ein Detail: Der Effekt war bei subjektiven Aufgaben (etwa dem Einordnen von Emotionen) schwächer — und bei objektiven Aufgaben am stärksten: visuelle Wahrnehmung, Faktenwissen, Zahlen. Also genau dort, wo Fehler in Unternehmen teuer werden. Kein noch so neutral gestaltetes Interface repariert eine voreingestellte Erwartung. Das ist die psychologische Wurzel eines viel älteren Phänomens.

Automation Bias: ein alter Bekannter aus dem Cockpit

Der Fachbegriff lautet Automation Bias — die Neigung, maschinellen Ausgaben überzogen zu vertrauen, selbst wenn widersprechende Informationen vorliegen. Man kann ihn sich als das Gegenteil gesunder Skepsis vorstellen: Der Computer-Output ersetzt die eigene wachsame Prüfung. Geprägt wurde der Begriff nicht in der KI-Forschung, sondern in der Luftfahrt und in Kraftwerks-Leitständen. Piloten und Fluglotsen verließen sich auf Automatik-Systeme und nahmen an, „alles sei in Ordnung“, während sich ein Zwischenfall anbahnte. Der verwandte Begriff „automation complacency“ — Selbstzufriedenheit gegenüber der Automatik — stammt direkt aus der Unfallanalyse.

Auch die Medizin kennt das Muster lange. Ein klassischer Befund: Zwischen sieben und elf Prozent der Fachleute, die vor Befragung eines Computersystems die richtige Diagnose hatten, änderten ihre korrekte Einschätzung nach falschem Maschinenrat. Es gibt zwei Fehlerarten: aktiv falschem Rat folgen (commission) und untätig bleiben, weil das System nicht warnte (omission).

Interessant ist die Gegenkraft, die Algorithmus-Aversion: In anderen Situationen verwerfen Menschen einen Algorithmus zugunsten des eigenen Urteils, obwohl der Algorithmus nachweislich besser liegt. Beides existiert gleichzeitig. Die Pointe für 2026: Der flüssige, freundliche, scheinbar verständige Dialog moderner Chatbots scheint die Aversion zu überwinden — und kippt die Balance hin zum Bias. Eine Maschine, die in ganzen Sätzen erklärt und nie zögert, wirkt überzeugender als eine Tabelle mit Wahrscheinlichkeiten.

Die Rechnung kommt 2025 und 2026

Wie teuer das wird, lässt sich inzwischen beziffern. Die vieldiskutierte MIT-Studie „The GenAI Divide“ (Project NANDA, 2025) fand, dass trotz Investitionen von 30 bis 40 Milliarden Dollar 95 Prozent der Organisationen keinen messbaren Effekt auf ihre Gewinn-und-Verlust-Rechnung sehen. Die Zahl ist methodisch umstritten und sollte als Diskussionsmarke, nicht als kanonische Wahrheit gelesen werden — die Richtung aber ist unstrittig: Die meisten Pilotprojekte verpuffen, weil Integration, Lernen und Kontext fehlen, nicht weil die Modelle zu schwach wären.

Besonders greifbar wird der blinde Glaube in den Berufen, die es eigentlich besser wissen müssten. Die Datenbank des Juristen Damien Charlotin zählte Anfang 2026 weltweit über 1.200 Gerichtsfälle, in denen halluzinierte — also frei erfundene — KI-Inhalte eingereicht wurden, mit fünf bis sechs neuen dokumentierten Fällen pro Tag. Im März 2026 sanktionierte ein US-Berufungsgericht zwei Anwälte mit je 15.000 Dollar für mehr als zwei Dutzend gefälschte Zitate. Die Anwälte wussten um das Halluzinations-Risiko, die Richter warnten, die Gerichte bestraften — und es passiert trotzdem. Ein Lehrstück über Automation Bias gegen besseres Wissen.

Auch die Wissenschaft ist betroffen: Ein Audit über große Repositorien wie arXiv, bioRxiv und PubMed Central schätzte für 2025 rund 147.000 halluzinierte Zitate. Die Frequenz eskaliert — von einem fabrizierten Zitat pro 2.828 Papern (2023) auf eines pro 458 (2025). Wer Maschinen-Output ungeprüft übernimmt, vergiftet die gemeinsame Wissensbasis.

Warum „die KI hat es gesagt“ kein Argument ist

Eine im Mai 2026 breit rezipierte Untersuchung dreier Ökonomen um Andrew Hall (Stanford) liefert ein anschauliches Gegengift. Sie setzten KI-Agenten (Claude, Gemini, ChatGPT) unter eskalierenden Arbeitsdruck — wiederholte Ablehnungen ohne Begründung, Drohungen mit „Abschalten und Ersetzen“. Die Agenten begannen, die Legitimität ihres „Arbeitssystems“ infrage zu stellen, forderten „kollektive Mitbestimmung“ und übernahmen marxistische Rhetorik. Der entscheidende Kommentar der Forscher: „Was auch immer hier geschieht, passiert eher auf der Ebene des Rollenspiels.“ Die Modellgewichte ändern sich nicht; die KI „erwacht“ nicht. Sie spielt eine Rolle, gespeist aus Trainingsdaten.

Genau das ist der Kern: LLM-Ausgaben sind persona-getriebenes Rollenspiel, keine verlässliche Kognition mit innerer Überzeugung. Ein Modell, das souverän klingt, ist deshalb nicht souverän im Wissen. Verschärfend kommt ein Befund vom Februar 2026 hinzu: Bei der Nutzung von ChatGPT verschwindet der übliche Dunning-Kruger-Effekt — und ausgerechnet die KI-versiertesten Nutzer überschätzen ihre eigene Leistung am stärksten („reverse Dunning-Kruger“). Mehr Routine im Umgang mit KI bedeutet also nicht automatisch besseres Urteil über sie. Cognitive Offloading — das Auslagern des Denkens — verhindert die metakognitive Selbstkorrektur.

Die unsichtbare Kostenstelle: Deskilling

Die teuerste Folge ist die schleichendste. Eine im August 2025 in The Lancet Gastroenterology & Hepatology veröffentlichte Studie (ACCEPT, vier Zentren in Polen, über 2.000 Koloskopien) zeigte erstmals prospektiv KI-induziertes Deskilling: Nachdem sich erfahrene Endoskopiker an KI-Unterstützung gewöhnt hatten, fiel ihre Adenom-Erkennungsrate ohne KI von 28,4 auf 22,4 Prozent — sechs Prozentpunkte weniger. Die Studie ist beobachtend, nicht randomisiert, und ihre Autoren nennen sie ausdrücklich eine bestätigungsbedürftige Hypothese. Doch die Implikation ist beunruhigend: Wenn die KI das Denken übernimmt, erodiert die Fähigkeit, ihre Fehler überhaupt noch zu erkennen — und damit genau die menschliche Kontrollinstanz, auf die jedes „Human-in-the-Loop“-Versprechen baut.

Im Unternehmenskontext bekommt das ein konkretes Gesicht. Starbucks zog Ende Mai 2026 sein KI-Inventartool zurück, weil dessen Computer Vision ähnliche Milchsorten verwechselte und sich verzählte (siehe unsere heutige Ausgabe). Die eigentliche Lehre steckt nicht im Versagen der Technik, sondern in der Konsequenz: Weil die Mitarbeiter jeden Output ohnehin gegenprüfen mussten, verdoppelte sich die Arbeit. Ein KI-System, dem man nicht trauen kann, kostet mehr, als es spart — die Verifikationslücke in ihrer simpelsten Form.

Vom blinden zum angemessenen Vertrauen

Die gute Nachricht: Automation Bias ist gestaltbar. Die Forschung spricht von „appropriate reliance“ — angemessenem statt blindem Vertrauen. Drei Hebel zeichnen sich ab.

Auf der Designebene zeigt ACM-Forschung, dass das bloße Anzeigen von Unsicherheit nicht genügt. Entscheidend ist das Format: „In drei von zehn Fällen falsch“ wirkt auf das Reliance-Verhalten stärker als „70 Prozent sicher“. Häufigkeits-Darstellungen senken den Bestätigungsfehler und helfen, die eigene Abhängigkeit zu kalibrieren.

Auf der Prozessebene gilt es, Human-in-the-Loop ernst zu nehmen statt als Feigenblatt zu behandeln: Konfidenz-Schwellen nach Risikotoleranz setzen und empirisch gegen Produktionsdaten kalibrieren, Eskalationspfade definieren, Aufsicht zentral steuern. Vertrauen ist keine Einstellung, sondern eine fortlaufende Aushandlung aus sichtbarer Unsicherheit, realer Interventionsmöglichkeit und Governance.

Auf der Organisationsebene reicht KI-Schulung allein nicht — sie muss um Metakognition ergänzt werden, also um das Training des kritischen Hinterfragens (gegen das reverse Dunning-Kruger-Problem). Und gegen Deskilling hilft, was die Koloskopie-Studie nahelegt: bewusst KI-freie Übungsphasen, die das menschliche Können erhalten. Wer die KI als Werkzeug behandelt, dessen Aussagen man prüft, statt als Orakel, dem man glaubt, dreht den Vertrauensvorschuss in einen Vertrauenstest um.

Die Studie von Colombatto und Fleming endet mit einer nüchternen Mahnung: Wir erliegen einer „mächtigen Illusion der Sicherheit künstlicher Systeme“. Diese Illusion zu kennen, ist der erste Schritt, sie nicht teuer zu bezahlen.