Forschung · Mensch und Maschine
Dreimal ungenauer, doppelt so überzeugt: Studie zeigt, wie KI-Rat das Eingeständnis von Unwissen abschaltet
Der Aufbau des Experiments war bewusst gemein gewählt: Valerio Capraro (Universität Mailand-Bicocca), Chiara Marcoccia (École Normale Supérieure) und Walter Quattrociocchi (Sapienza Rom) stellten Teilnehmern Trivia-Fragen zu visuellen Filmdetails — etwa nach einer Trikotfarbe in „Kick It Like Beckham“. Genau die Sorte Fragen also, bei denen Sprachmodelle nachweislich häufig danebenliegen. Ein Teil der Probanden bekam ein KI-Modell zur Seite gestellt, von dem die Forscher wussten, dass es bei diesen Fragen unzuverlässig antwortet. So sollte ausgeschlossen werden, dass Vertrauen in die KI schlicht eine vernünftige Delegation an ein verlässliches Werkzeug ist.
Die Ergebnisse des auf PsyArXiv veröffentlichten Preprints sind deutlich: Ohne KI gaben 44 Prozent der Teilnehmer offen zu, eine Antwort nicht zu wissen; die Genauigkeit lag bei 27 Prozent, die Selbsteinschätzung der Sicherheit bei 30 Prozent. Mit KI-Zugang brach die Bereitschaft zum „Ich weiß es nicht“ auf 3 Prozent ein, die Genauigkeit fiel auf 9 Prozent — die Selbstsicherheit stieg zugleich auf 76 Prozent. „Die Leute wurden viel schlechter, die Genauigkeit betrug nur noch ein Drittel — aber sie waren doppelt so überzeugt“, fasst Capraro zusammen. Selbst ein finanzieller Anreiz für richtige Antworten hob die Werte nur minimal: Das Eingeständnis von Unwissen stieg auf 8, die Genauigkeit auf 16 Prozent — beides weit unter dem Niveau ganz ohne KI.
Die Studie fügt der Debatte um „Automation Bias“ damit eine neue Facette hinzu: Es geht nicht nur darum, dass Menschen falschen KI-Antworten glauben — die bloße Verfügbarkeit einer KI-Antwort unterdrückt offenbar die kognitive Gewohnheit, eigene Wissenslücken überhaupt einzugestehen. Das unterscheidet die Arbeit von früheren Untersuchungen wie der Microsoft-Research/CMU-Studie zu kritischem Denken bei Wissensarbeitern oder der EEG-Studie „Your Brain on ChatGPT“ des MIT Media Lab, die reale, meist kompetente KI-Nutzung beobachteten. Hier wurde der Kontrollverlust unter kontrollierten Bedingungen isoliert — mit einem Modell, das nachweislich falsch lag.
In der Hacker-News-Diskussion (261 Punkte) gab es neben Zustimmung auch handfeste Kritik: Die Forscher hätten strukturell ein „Lehrbuch voller Falschinformationen“ getestet — dass Menschen einer normalerweise zuverlässigen Quelle vertrauen, sei eine rationale Heuristik, kein Urteilsversagen. Es fehle zudem eine Kontrollgruppe mit anderen autoritativ wirkenden Quellen wie Suchergebnissen, und der Preprint hat noch kein Peer-Review durchlaufen. Auch die Höhe des finanziellen Anreizes wurde als zu gering kritisiert, um sorgfältigere Prüfung auszulösen.
Ernst nehmen sollte man den Befund trotzdem — denn er passt zu einem konsistenten Muster aus Feldstudien, Deskilling-Befunden aus der Medizin und teuren Praxisfällen von halluzinierten Gerichtszitaten bis zu ungeprüft übernommenem KI-Output in Unternehmen. Was die Forschung über den Mechanismus weiß, was er Unternehmen bereits kostet und welche Gegenmittel tatsächlich wirken — von „Designed Friction“ bis zur KI als eingebautem Advocatus Diaboli —, analysiert unsere heutige Reportage ausführlich.