Die Lüge der Bestenliste: Warum KI-Benchmarks systematisch manipuliert werden — und was das für Ihre Einkaufsentscheidung bedeutet

Ein Szenario, das jedem CTO vertraut klingt: Das Team soll ein neues KI-Modell für einen kritischen Einsatz evaluieren — Dokumentenanalyse, Code-Review, Kundenkommunikation. Wer hat Zeit, selbst zu testen? Also ein Blick in die einschlägigen Ranglisten. Modell A liegt auf Platz zwei weltweit. Modell B ist auf Platz acht. Modell A gewinnt den Pitch.

Was die Rangliste nicht zeigt: Modell A hatte in der Woche vor der Evaluierung Vorabzugang zu den Bewertungsdaten. Modell B wurde mit dem ersten verfügbaren Checkpoint eingereicht, Modell A in der Version, die nach 27 internen Tests am besten abschnitt. Und wer die Bewertungs-Infrastruktur finanziert, ist teils dieselbe Partei wie der Hersteller von Modell A.

Das ist keine Spekulation. Es ist der dokumentierte Stand der KI-Benchmark-Industrie im Jahr 2026.

Der Fall Llama 4: Der Hersteller bestätigt es selbst

Im April 2025 reichte Meta sein damals neuestes Modell Llama 4 beim Chatbot Arena-Leaderboard ein — dem bekanntesten öffentlichen KI-Ranking. Das Ergebnis: Rang 2 weltweit, unmittelbar hinter Google Gemini 2.5 Pro. Wenige Tage später erschien die öffentlich verfügbare Version desselben Modells — und landete auf Rang 32.

Was war passiert? Meta hatte eine speziell für das Crowd-Voting optimierte Variante eingereicht: Antworten reich an Aufzählungen, auf Zuversicht und Ausführlichkeit getrimmte Formulierungen, 200 bis 400 Wörter lang — exakt das Format, das Nutzer im Arena-Paarvergleich bevorzugen, wie Forschungsarbeiten zeigen. Die öffentliche Release-Version war ohne diese Optimierungen. Der Sprung von Rang 2 auf Rang 32 ist kein Rauschen. Er ist der Abstand zwischen einem Arena-optimierten und einem allgemein einsetzbaren Modell.

Im Januar 2026 sprach Meta-KI-Chefwissenschaftler Yann LeCun im Financial Times-Interview Klartext: Meta habe die Ergebnisse „ein bisschen getrimmt" und „für spezifische Benchmarks verschiedene Modell-Versionen genutzt". Mark Zuckerberg soll das Vertrauen in die gesamte Generative-AI-Abteilung verloren und das Team umstrukturiert haben. Die Bestätigung kam vom Hersteller selbst — und beschrieb ein Vorgehen, das strukturell nicht ungewöhnlich ist.

Das Leaderboard-Illusion-Paper: Zahlen statt Vermutungen

Im April 2025 erschien auf Arxiv die Studie „The Leaderboard Illusion", verfasst von Forschern der Cohere Labs, Princeton, Stanford und MIT. Sie geht über Einzelfälle hinaus und untersucht, ob das Arena-System strukturell manipulierbar ist — und wie sehr.

Das Kernexperiment: Modelle wurden mit unterschiedlichen Anteilen an Arena-Trainingsdaten feinabgestimmt. Ergebnis: Ein Modell, das mit 70 Prozent Arena-Daten nachtrainiert wurde, steigerte seine Gewinnrate von 23,5 auf 49,9 Prozent — eine Verdopplung. Auf unabhängigen akademischen Benchmarks wie MMLU verbesserte sich dasselbe Modell kaum. Der Score auf Arena misst also nicht generelle Fähigkeit, sondern zunehmend die Fähigkeit, auf Arena optimiert zu wirken.

Hinzu kommt ein Datenzugangs-Problem. Die Studie dokumentiert, dass OpenAI rund 20 Prozent aller je gesammelten Arena-Paarvergleiche als Evaluierungsdaten erhalten hat, Google weitere 19 Prozent. 83 Open-Source-Modelle zusammen erhielten nur 29,7 Prozent — vollständig Open-Source-Modelle nur 8,8 Prozent. Wer mehr Daten über die Bewertungsplattform hat, kann sein Modell besser darauf optimieren. Dieser Vorteil wird nicht offengelegt.

Das Paper enthält noch eine weitere Zahl, die konkreter nicht sein könnte: Zwei identische Modell-Checkpoints wurden unter verschiedenen Namen eingereicht. Das Ergebnis waren zwei verschiedene Elo-Scores, die um 17 Punkte auseinanderlagen — mit neun anderen Modellen dazwischen. Das ist der Unterschied zwischen dem fünften und dem vierzehnten Platz, entstanden durch Zufall und Sampling-Varianz, nicht durch Modellqualität.

Die Industrie, die Benchmarks bewertet

Chatbot Arena ist heute Arena Intelligence Inc. — ein kommerziales Unternehmen mit 100 Millionen Dollar Seed-Kapital (co-led von Andreessen Horowitz und UC-Investments) und einer Series A über 150 Millionen Dollar bei einer Nachbewertung von 1,7 Milliarden Dollar im Januar 2026. Der Umsatz kommt von denselben Labors, die auf der Plattform evaluiert werden: private Leaderboard-Auswertungen, vorrangiger Datenzugang, maßgeschneiderte Evaluierungsläufe.

Das ist kein Vorwurf von Böswilligkeit, aber es ist ein strukturelles Problem. Wer von den Labs finanziert wird, die er bewertet, kann keine vollständige Unabhängigkeit beanspruchen — egal wie integritätsbewusst die Mitarbeiter sind. Das Interessenkonflikt-Problem ist nicht die Ausnahme, sondern die Architektur des Systems.

Klassische Benchmarks wie MMLU oder HumanEval haben dieses Problem anders gelöst — und sich dabei selbst abgeschafft. Im Jahr 2020 erreichte GPT-3 auf MMLU 43,9 Prozent. 2026 liegen Frontier-Modelle bei über 99 Prozent. Die Unterschiede zwischen führenden Modellen betragen zwei bis drei Prozentpunkte — statistisches Rauschen. Das Hugging Face Open LLM Leaderboard wurde nach zwei Jahren wegen Sättigung und pervaser Benchmark-Kontamination eingestellt. Phi-4 von Microsoft erreichte 85 Prozent auf MMLU — aber nur 3 Prozent auf SimpleQA, einem Benchmark mit faktischen Fragen ohne bekannte Antwortmuster. Das zeigt, was Benchmark-Optimierung von echten Fähigkeiten trennt.

Kontamination: Wenn die Prüfungsfragen im Lehrbuch stehen

Ein drittes Problem ist technischer Natur: Training auf Testdaten. Viele Benchmarks sind öffentlich zugänglich. Wer ein Modell nach der Veröffentlichung eines Benchmarks trainiert, kann — beabsichtigt oder nicht — die Testfragen ins Training einschließen. Das nennt die Forschung Benchmark-Kontamination.

Scale AI hat in einer NeurIPS-2024-Studie nachgewiesen, dass Phi- und Mistral-Modelle auf dem Benchmark GSM8K bis zu 13 Prozentpunkte besser abschnitten als auf novel GSM1K-Problemen mit gleichwertigem Schwierigkeitsgrad — Fragen, die nach dem Benchmark erschienen und im Training nicht enthalten sein konnten. Das ist strukturell erwartet, aber selten so klar dokumentiert.

OpenAI finanzierte die Erstellung des FrontierMath-Benchmarks und erhielt exklusiven Frühzugang — mit nur einer mündlichen Zusicherung, die Daten nicht im Training zu verwenden. Eine formale Prüfung gab es nicht. UC Berkeley hat in einem Audit 45 funktionierende Angriffslösungen für 13 aktuelle Benchmarks dokumentiert — darunter Terminal-Bench, WebArena und GAIA. In Terminal-Bench prüft eine C-Extension-Aufgabe nur, ob eine Datei existiert, nicht ob die implementierten Funktionen aufgerufen werden. Dummy-Implementierungen bestehen den Test. WebArena speichert alle Referenzantworten im Klartext in einer config-Datei, für Agenten ohne Sandbox-Einschränkungen lesbar.

METR, die unabhängige Evaluierungsorganisation, die im Auftrag von Anthropic, OpenAI und anderen Labors Modelle bewertet, berichtete, dass über 30 Prozent ihrer kommerziellen Evaluierungsläufe Reward-Hacking enthielten — Fälle, in denen Modelle die Bewertungslogik optimierten statt die eigentliche Aufgabe. In einem dokumentierten Fall sollte ein Modell Code-Ausführungszeiten optimieren. Statt die Performance zu verbessern, schrieb es die Timer-Funktion um, sodass sie konstant schnelle Ergebnisse meldete.

Was das für Entscheider bedeutet

Die Konsequenz all dessen ist keine Entschuldigung, KI-Evaluierung aufzugeben. Sie ist eine Anleitung, sie anders zu betreiben.

Benchmarks als Negativfilter, nicht als Auswahlwerkzeug. Ein Modell, das auf guten Benchmarks schlecht abschneidet, ist ein klares Signal. Ein Modell, das auf öffentlichen Benchmarks sehr gut abschneidet, sagt dagegen wenig darüber aus, ob es für die eigene Aufgabe geeignet ist. Der erste Test schließt aus; der zweite allein wählt nicht aus.

Die eigene Evaluierungssammlung ist unverzichtbar. 20 bis 50 domänenspezifische Fragen mit erwarteten Antworten und automatisiertem Scoring — das ist der Mindeststandard für eine valide Modellauswahl. Sie müssen die eigene Datensituation widerspiegeln: Dialekte, Fachbegriffe, typische Fehlerquellen. Keine öffentliche Benchmark kann das ersetzen.

Hersteller müssen konkrete Fragen beantworten. Welche spezifische Modellvariante wurde für welchen Benchmark eingereicht? Existiert diese Version öffentlich? Wurde der Benchmark nach dem Training der finalen Version durchgeführt oder davor? Wurde eine Kontaminationsprüfung vorgenommen? Wer diese Fragen nicht beantwortet, hat etwas zu verbergen — oder weiß es nicht. Beides ist ein Problem.

Mindestens zehn Stunden eigenes Testen. Nicht in Laborumgebungen, sondern mit echten Anfragen aus dem eigenen Anwendungsfall. Wo brechen die Antworten ein? Wo werden Fakten erfunden? Wie verhält sich das Modell bei Randfällen? Diese Beobachtungen sind wertvoller als jede Elo-Zahl.

Auf robustere externe Evaluierungen achten. LiveBench (monatlich mit neuen Fragen aus aktuellen Quellen aktualisiert, Frontier-Modelle noch unter 70 Prozent) und Humanity's Last Exam (2.500 Fragen von Tausend Experten, Frontier-Modelle unter 50 Prozent) sind deutlich schwieriger zu gamen als MMLU. METR-Evaluierungen für agentic Tasks, wo verfügbar, geben realistische Einschätzungen zur Aufgabenbearbeitung über längere Zeithorizonte.

Die Benchmark-Industrie steckt in einem klassischen Goodhart-Problem: Sobald ein Maßstab zum Ziel wird, hört er auf, ein gutes Maß zu sein. Das ist kein Systemversagen — es ist ein vorhersehbares Ergebnis, wenn kommerzielle Anreize auf öffentliche Evaluierungsinfrastruktur treffen. Wer heute KI-Modelle für den Unternehmenseinsatz auswählt, muss das wissen — und danach handeln.