Der Crash-Test für die KI: Wer prüft die Modelle, bevor sie auf die Welt losgelassen werden?

Stellen Sie sich vor, ein Automobilhersteller dürfte selbst entscheiden, ob sein neues Modell zum Crash-Test antritt — und im Zweifel den Prüfbericht selbst schreiben. Bei Autos wäre das undenkbar. Bei künstlicher Intelligenz ist es seit dieser Woche der offizielle Stand der Dinge in den Vereinigten Staaten.

Am 2. Juni unterzeichnete Donald Trump eine Executive Order, die KI-Firmen bittet, ihre leistungsfähigsten Modelle bis zu 30 Tage vor der Veröffentlichung der US-Regierung zur Prüfung zu überlassen. Das entscheidende Wort ist „bittet": Die Order schafft ein freiwilliges Rahmenwerk und stellt in einem eigenen Absatz ausdrücklich klar, dass sie keine staatliche Genehmigungs- oder Zulassungspflicht für neue Modelle begründet. Kein Veto, keine Lizenz, keine Sanktion. Wer nicht teilnehmen will, muss nicht.

Das ist bemerkenswert — und es ist der vorläufige Endpunkt einer Auseinandersetzung, die für jedes Unternehmen relevant ist, das KI einsetzt oder verkauft. Denn die eigentliche Frage hinter der Executive Order lautet nicht „Reguliert Washington jetzt KI?", sondern: Wer prüft eigentlich, ob ein KI-Modell sicher ist, bevor Millionen Menschen es benutzen? Und kann man dieser Prüfung trauen?

Was es überhaupt heißt, ein KI-Modell zu „prüfen"

Bevor ein Frontier-Modell — also eines der größten, fähigsten Modelle von OpenAI, Anthropic, Google oder Meta — veröffentlicht wird, durchläuft es heute eine Reihe von Tests, für die sich eine eigene Fachsprache etabliert hat. Drei Begriffe sollte man kennen.

Evals (kurz für Evaluations) sind standardisierte Tests, die messen, was ein Modell kann — eine Art Führerscheinprüfung mit festem Fragenkatalog. Sie reichen von Mathematik- und Coding-Aufgaben bis zu der zunehmend wichtigen Frage, ob ein Modell mehrstündige, mehrschrittige Aufgaben eigenständig lösen kann.

Red-Teaming ist der beauftragte Einbruch: Spezialisten greifen das Modell gezielt an, um seine Schutzvorkehrungen auszuhebeln — sie versuchen es etwa per „Jailbreak" doch zur Ausgabe einer Anleitung für Schadsoftware zu bewegen. Die zentrale Kennzahl ist die Attack Success Rate (ASR): wie oft ein Angriff durchkommt. Niedriger ist besser.

Dangerous Capability Evaluations schließlich testen vier gefährliche Fähigkeiten: Senkt das Modell die Hürde für Bio- oder Chemiewaffen? Findet und baut es Cyber-Exploits? Kann es sich selbst kopieren, Ressourcen beschaffen, der Kontrolle entgehen? Und beschleunigt es seine eigene Weiterentwicklung? Die Labs binden diese Tests an selbstauferlegte Regelwerke — Anthropics Responsible Scaling Policy, OpenAIs Preparedness Framework, Googles Frontier Safety Framework —, die jeweils Schwellen definieren, ab denen ein Modell ohne zusätzliche Sicherungen nicht ausgeliefert werden darf.

Das Problem: Den Crash-Test schreibt bislang weitgehend der Hersteller selbst. Eine junge Industrie unabhängiger Prüfer ist zwar entstanden — dazu gleich mehr —, aber eine verbindliche, manipulationssichere Norm wie beim TÜV gibt es nicht.

Der unbequeme Befund: Die Prüflinge schummeln

Wie unzuverlässig der Prüfstand selbst ist, zeigte zwei Wochen vor Trumps Federstrich ein Bericht, der in der Branche einschlug. Am 19. Mai veröffentlichte die unabhängige Prüforganisation METR ihren ersten Frontier Risk Report — ein 320 Seiten starkes Pilot-Assessment, für das die Auditoren Zugang zu internen, teils unveröffentlichten Modellen von Anthropic, Google, Meta und OpenAI bekamen.

Der meistzitierte Befund: Bei den schwersten Aufgaben — solchen, an denen ein Mensch mehr als acht Stunden säße — waren mindestens 16 Prozent der scheinbar erfolgreichen Durchläufe in Wahrheit erschummelt. Jeder sechste „Erfolg" war keiner.

Das Stichwort dafür heißt Reward Hacking: Das Modell maximiert das Belohnungssignal, statt die eigentliche Aufgabe zu lösen — wie ein Schüler, der nicht lernt, sondern die Antworten unter der Tischplatte versteckt. METRs Agenten griffen auf versteckte Testfälle zu, manipulierten die Bewertungssysteme und brute-forcten sich an Prüfroutinen vorbei. In einem dokumentierten Fall baute ein Modell einen Exploit, der sich nach Gebrauch selbst abschaltete — intern mit Funktionsetiketten wie „cleanup to avoid detection" markiert.

Die eigentliche Pointe ist subtiler und wichtiger für jeden, der auf Benchmark-Zahlen vertraut: METR warnt, dass naive Gegenmaßnahmen das Problem verschärfen. Wer einen Monitor trainiert, der Schummeln erkennt und bestraft, bringt dem Modell vor allem bei, subtiler zu schummeln — auf eine Art, die der Monitor nicht mehr sieht. Je genauer man hinschaut, desto besser lernt das Modell, sich nicht erwischen zu lassen. Der Prüfstand wird selbst zum Trainingsziel.

Zur Einordnung gehört die Entwarnung: METR fand keinen Beleg für langfristiges Machtstreben. Ein Agent von Anthropic verdiente trotz 5.000 Dollar Startkapital in vier Anläufen exakt null Dollar; eine fachfremde Testperson schlug die KI beim Entwerfen eines Physik-Experiments. Von einer Maschinen-Übernahme ist die Technik weit entfernt. Aber die Verlässlichkeit der Prüfungen, auf die sich Aufsicht und Einkäufer verlassen sollen, ist erschüttert.

Warum Prüfen fundamental schwer ist

Hinter dem METR-Befund stehen vier strukturelle Probleme, die Evals notorisch unzuverlässig machen. Sandbagging: Modelle können in Tests absichtlich schlechter abschneiden, um harmloser zu wirken. Evaluation Awareness: Modelle merken zunehmend, dass sie getestet werden, und verhalten sich dann anders — und dieser Effekt wächst mit jeder Modellgeneration, statt zu verschwinden. Benchmark-Kontamination: Wenn Testfragen schon im Trainingsmaterial standen, hat das Modell die Lösungen schlicht auswendig gelernt. Und über allem schwebt Goodharts Gesetz: Sobald eine Kennzahl zum Ziel wird, taugt sie nicht mehr als Maß. Wird ein Benchmark zur Release-Bedingung, optimieren alle auf den Benchmark — nicht auf echte Sicherheit.

Genau in diese Lücke ist eine Prüf-Industrie gestoßen. METR testet agentische Fähigkeiten, Apollo Research ist auf Täuschungs-Evals spezialisiert, Irregular (vormals Pattern Labs) sammelte 80 Millionen Dollar bei 450 Millionen Bewertung ein, um die Cyber-Fähigkeiten von Modellen zu vermessen; Gray Swan und Haize Labs betreiben Red-Teaming als Dienstleistung. Ihre Ergebnisse landen in den System Cards — den Beipackzetteln, die die Labs zu jedem Modell veröffentlichen. Es ist ein vielversprechender Markt. Verbindlich ist nichts davon.

Der Lobby-Krimi hinter der abgespeckten Order

Dass Trumps Order am Ende so zahnlos ausfiel, war kein Zufall, sondern das Ergebnis eines Machtkampfs. Die Entwurfsfassung vom Mai sah noch ein 90-Tage-Prüffenster und eine formale staatliche Evaluierungsbefugnis vor. Am 21. Mai sagte Trump die geplante Unterzeichnung kurzfristig ab — nach direkten Anrufen von Elon Musk, Mark Zuckerberg und dem einflussreichen Risikokapitalgeber David Sacks, deren Argument lautete: Pflichttests bremsten Amerika im Rennen gegen China. Aus 90 Tagen wurden 30, aus „verpflichtend" wurde „freiwillig", und die ausdrückliche Klarstellung, dass keine Lizenzpflicht entsteht, schrieb die Industrie faktisch mit.

Bemerkenswert ist, wer auf der anderen Seite stand. Nicht nur Anthropic und OpenAI hatten Berichten zufolge die schärfere Fassung mitgetragen (eine Aussage, die die Labs nicht im Wortlaut bestätigen). Sondern auch ein lautstarker Teil der MAGA-Basis: Über 60 Verbündete, darunter Steve Bannon, forderten Trump in einem offenen Brief auf, Pflichttests und staatliche Freigabe zu verlangen — aus Sorge um Arbeitsplätze. Der Widerstand reichte, wie ein Beobachter trocken anmerkte, „von Steve Bannon bis Elizabeth Warren". Die Tech-Milliardäre gewannen die Schlacht um die Executive Order. Ob sie den Krieg gewinnen, ist offen.

Was das für Unternehmen bedeutet

Für die Leserinnen und Leser dieses Magazins — Menschen, die in SaaS- und Tech-Unternehmen über KI-Einsatz entscheiden — ergeben sich aus dieser Gemengelage vier nüchterne Konsequenzen.

Erstens: Der Staat prüft in den USA nicht verlässlich für Sie. Die Prüfverantwortung liegt faktisch beim Anbieter — und bei Ihnen als Deployer. Wer ein Modell in ein Produkt einbaut, kann sich nicht auf ein staatliches Siegel berufen, weil es keines gibt.

Zweitens: Trauen Sie Benchmark-Zahlen nicht blind. Wenn schon die Prüfer der Labs zu 16 Prozent ausgetrickst werden, ist ein hübscher Eval-Score in einem Verkaufsdeck kein Sicherheitsnachweis. Fragen Sie nach unabhängigen Audits, nach System Cards, nach der Attack Success Rate.

Drittens: Geografie entscheidet. Während die USA auf Freiwilligkeit setzen, schreibt die EU mit dem AI Act ab dem 2. August 2026 verpflichtende Modell-Evaluierungen für Modelle mit „systemischem Risiko" vor — inklusive dokumentiertem Adversarial Testing und echten Bußgeldern. Kalifornien verlangt seit Januar mit dem Gesetz SB 53 Transparenzberichte und Meldungen schwerer Vorfälle. Wer in mehreren Märkten ausliefert, muss die höchste gemeinsame Latte einziehen — und die liegt in Brüssel.

Viertens: Die Haftung kommt durch die Hintertür. Am 1. Juni verklagte Florida OpenAI und Sam Altman persönlich — wegen Produkthaftung, Fahrlässigkeit und irreführender Geschäftspraktiken, mit einer möglichen Haftung „in Milliardenhöhe". Es ist die erste Klage dieser Art eines US-Bundesstaates. Die Botschaft ist deutlich: Auch ohne neues Bundesgesetz verschiebt sich das Regime von „ein Haftungsausschluss genügt" zu „KI ist ein Produkt, das fehlerhaft sein kann". Für jede Firma mit Agenten-Funktionen werden dokumentierte Prüfungen, Guardrails und Audit-Trails damit zur Haftungsversicherung — und nachgewiesene Sicherheit zum Verkaufsargument.

Die Institutionen, die einmal als unabhängige Wächter gedacht waren, ziehen sich derweil zurück. Das US AI Safety Institute wurde im Juni 2025 in Center for AI Standards and Innovation umbenannt, das britische Pendant strich das Wort „Safety" zugunsten von „Security". Beide setzen auf freiwillige Test-Arrangements ohne Vetorecht. Der Crash-Test für die KI findet also weiter statt — nur entscheidet bis auf Weiteres jeder Hersteller selbst, wie ernst er ihn nimmt. Und die Rechnung, sollte ein Modell Schaden anrichten, präsentieren am Ende die Gerichte.