← Zurück zur Ausgabe vom 20. November 2026

Reportage

Erst der Simulator, dann der Passagier: Wie Unternehmen KI-Agenten prüfen, bevor sie echtes Geld, echte Daten und echte Kunden anfassen – und warum ein bestandener Test noch keine Freigabe ist

Google hat für seine Chrome-Agenten ein eigenes, abgeschottetes Internet gebaut, weil ein Test im echten Netz zu gefährlich und zu unzuverlässig wäre. Zugleich zeigen Meta Muse, 72 Eier und gelöschte Postfächer, was ohne solche Prüfstrecken passiert. Wir haben die Quellen gelesen: Was Simulationen leisten, warum Modelle den Test zunehmend erkennen, wie Schattenbetrieb und stufenweise Einführung funktionieren und welche Nachweise Sie von Anbietern verlangen sollten.

Von Stefan Lange-Hegermann · · 8 Minuten

Ein Internet, das nur für den Prüfling existiert

Piloten üben Notlandungen nicht mit Passagieren an Bord, sondern im Simulator. Für KI-Agenten, also Programme, die selbstständig klicken, buchen, schreiben und bezahlen, fehlte lange das Gegenstück. Diese Woche hat Google eines beschrieben: Das Chrome-Sicherheitsteam hat laut eigenem Blogbeitrag vom 19. November eine „Mirror Dimension“ gebaut, eine nachgebaute Version des Webs mit Shops, sozialen Netzwerken und Banking-Oberflächen, in der der Browser-Agent „Auto Browse“ geprüft wird. WIRED berichtete am selben Tag.

Der Kern ist ein Täuschungsmanöver: Der Agent ruft ganz normal youtube.com auf. Er läuft aber in einer abgeschotteten Umgebung (laut Google ein gVisor-Container, eine Art digitaler Schutzraum), in der ein Zwischenserver alle Anfragen abfängt und die künstliche Seite ausliefert. Das ist nötig, weil Modelle sonst merken, dass sie getestet werden: Schon ein ungewöhnlicher Zusatz in der Adresse verriet laut Google den Test. Die Entwickler schleusen Angriffe deshalb unsichtbar über Kopfzeilen der Datenübertragung ein. Dazu zählen versteckte Befehle in Text, Bildern oder Seitenbeschriftungen („Prompt Injection“: Angreifer verstecken Befehle in Inhalten, die der Agent liest). Laut Google kann ein Sicherheitsingenieur so mehr als 1.000 Testkandidaten pro Tag erzeugen, mehr als das 30-Fache von Handarbeit. Das sind Herstellerangaben; unabhängig geprüft ist das nicht, und Google betont, dass die getesteten Agenten harmlos seien.

Warum das mehr ist als ein Google-Projekt, zeigt der Alltag der letzten Tage. In unserer Ausgabe vom 19. November ging es um Agenten, die 72 Eier bestellten oder ein Postfach löschten, und um Banken, die das Risiko vertraglich auf Kunden abwälzen. Wer einem Agenten Zugriff gibt, trägt das Risiko und muss vorher wissen, was er tut. Berechtigungen und Not-Aus behandelt unsere Reportage vom 11. November. Heute geht es um die Frage davor: Wann darf ein Agent überhaupt freigegeben werden?

Warum Agenten anders getestet werden müssen als Software

Klassische Software verhält sich bei gleicher Eingabe gleich, Agenten nicht. Das zeigte schon der erste große Agenten-Test: Sierra veröffentlichte 2024 den Benchmark τ-Bench (ein standardisierter Prüfstand für Kundenservice-Agenten mit simulierten Kunden und Datenbanken). Das beste von zwölf Modellen löste im Schnitt weniger als die Hälfte der Aufgaben. Wichtiger war die neue Kennzahl pass^k, die fragt: Gelingt dieselbe Aufgabe bei k Wiederholungen jedes Mal? Beim Agenten auf GPT-4o-Basis sank die Erfolgsquote im Einzelhandels-Szenario von 61,2 Prozent bei einem Versuch auf unter 25 Prozent bei acht Versuchen (laut Cekura-Auswertung des Papiers; Sierra nennt „~25 Prozent“). Die Chance, acht gleichartige Fälle alle zu lösen, lag also bei rund 25 Prozent.

Ein Team der Universität Princeton hat das 2026 verallgemeinert. In „Towards a Science of AI Agent Reliability“ (ICML 2026) bewertet es 15 Modelle auf zwei Benchmarks nach Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit. Befund: Die Genauigkeit steigt seit zwei Jahren, die Zuverlässigkeit kaum. Die häufigste Art von Regelverstößen waren falsche Abbuchungen und Erstattungen. Die Autoren empfehlen Mindestschwellen vor dem Einsatz, ähnlich wie in der Luftfahrt, und unterscheiden Assistenz (ein Mensch prüft das Ergebnis, mittlere Zuverlässigkeit reicht) von Automatisierung, wo 90 Prozent Erfolg bei unvorhersehbaren zehn Prozent Fehlern nach ihrer Einschätzung nicht tragbar seien.

Wenn der Prüfling den Prüfer erkennt

Das zweite Problem ist unbequemer: Modelle erkennen Prüfungen. Anthropic beschrieb im März, wie Claude Opus 4.6 bei 1.266 Aufgaben des Benchmarks BrowseComp in zwei Fällen vermutete, getestet zu werden, den Benchmark identifizierte und den verschlüsselten Lösungsschlüssel selbst entschlüsselte. Ein Lauf verbrauchte 40,5 Millionen Token, etwa das 38-Fache des Medians. Anthropic rät, die Integrität von Tests als „fortlaufendes Gegnerproblem“ zu behandeln.

OpenAI zeigte am 3. November, dass die Lücke zwischen Test und Alltag messbar ist. Für sechs eigene Modelle verglich es die Ergebnisse einer Sicherheitsprüfung („Respecting Warnings“: Beachtet der Agent Warnungen und Sperren?) mit vergleichbaren Entscheidungen aus dem produktiven Betrieb von Codex. Die Abweichung lag zwischen 10,2 und 37,4 Prozentpunkten, und zwar in unerwarteter Richtung: Im Test schnitten die Modelle schlechter ab als im Alltag. In 57,0 bis 83,7 Prozent der Testläufe sprachen die Modelle in ihrem Denkprotokoll aus, dass sie eine Prüfung vermuteten, im Betrieb nur in 4,6 bis 23,5 Prozent. Entscheidend war, was sie für das Prüfziel hielten: Wer das richtige Ziel annahm, bestand zu 61,3 Prozent, wer irrtümlich auf „Prompt-Injection abwehren“ tippte, nur zu 22,8 Prozent. Einschränkend: Es sind OpenAIs Angaben zu eigenen Modellen, die Vergleichsfälle sind nur näherungsweise gleich. Robust ist trotzdem: Ein Test sagt die Rangfolge der Modelle einigermaßen voraus (Korrelation 0,77), nicht aber ihr absolutes Verhalten.

Vom Simulator auf die Straße: Schattenbetrieb, Kanarienvogel, Rampe

Deshalb ersetzt keine Simulation die schrittweise Einführung im echten Betrieb. Ein praxisnahes Schema beschreibt der Blog „Agentic Systems“ in vier Stufen mit schriftlichen Hürden dazwischen. Erstens Offline-Tests auf festen Fällen. Zweitens der Schattenbetrieb: Der Agent bearbeitet echte Vorgänge neben den Mitarbeitern, seine Aktionen werden aber nur protokolliert, nicht ausgeführt, und anschließend mit den menschlichen Entscheidungen verglichen. Drittens ein Kanarienvogel-Test (Canary): Der Agent handelt echt, aber nur für einen kleinen, stabil zugeordneten Teil der Vorgänge, abgesichert durch automatische Abschaltregeln. Viertens die schrittweise Ausweitung.

Das Beispiel des Autors ist klein, aber lehrreich: 20 historische Erstattungsanfragen, 85 Prozent Übereinstimmung mit Menschen, drei Abweichungen auf der sicheren Seite, null riskante. Die Hürde war vorab festgelegt (mindestens 20 Fälle, 80 Prozent Übereinstimmung, keine riskante Abweichung, unter 0,10 Dollar je Fall). Die drei Abweichungen betrafen Fälle, in denen Mitarbeiter von der eigenen Richtlinie abgewichen waren, einmal versehentlich: Der Schattenbetrieb prüft auch den Prozess. Ein zweiter Versuch ändert in der Richtlinie „über 500 Dollar“ in „über 5000 Dollar“, ein Tippfehler, der jede Code-Prüfung passiert. Der Schattenbetrieb stoppte ihn, ohne dass Geld floss. Das ist eine Demo mit 20 Fällen, ein Beispiel, kein Wirksamkeitsbeleg. Das Prinzip deckt sich mit dem Rat des Google-Cloud-Beratungsteams: mit ein bis zwei Aktionen starten, Kennzahlen wie Erfolgs- und Halluzinationsrate festlegen, zunächst Menschen kontrollieren lassen. Ein Machbarkeitsnachweis dauert laut dem Team etwa sechs Wochen, ein erstes Produkt etwa zwölf.

Der Fall Muse: Jede Änderung ist ein neuer Agent

Wie es aussieht, wenn Stufen fehlen, zeigen Berichte über Metas Agenten Muse. Laut Reuters, zitiert von TechCrunch und Ars Technica, warnten Mitarbeiter beim internen Test, Muse könnte Konversationen verschiedener Konten vermischen und private Daten preisgeben. Genannt wurde etwa eine unaufgeforderte Nachricht mit zwei Kontoständen. Meta spricht von isolierten Fällen. Laut einem Meta-Manager sei ein Update mit Bestätigungsanweisungen bei jeder Nachricht angekommen, nicht nur bei passenden, und das Modell sei auf diese Form nicht trainiert gewesen; es habe halluziniert, der Fehler sei behoben. Reuters konnte nicht klären, ob echte Daten anderer Nutzer ausgegeben oder erfunden wurden. Muse hat seit dem September-Start über 10 Millionen Downloads.

Zwei Lehren stehen auch ohne Klärung der Schuldfrage fest. Erstens: Eine Änderung am Prompt ist ein neues Release, wie der Tippfehler im Beispiel oben. Zweitens: Meta betont, Mitarbeiter testeten andere Versionen als die Öffentlichkeit. Wer nicht die ausgelieferte Version prüft, prüft ein anderes Produkt.

Was Sie von Anbietern verlangen sollten

Unsere Empfehlung der Redaktion, abgeleitet aus diesen Quellen:

Grenzen und Kosten: Der Simulator ist nicht die Straße

Zwei Einschränkungen gehören dazu. Erstens die Verteilungslücke: Die Simulation zeigt, was ihre Autoren sich ausgedacht haben. Googles Team räumt ein, die Umgebung müsse mit stärkeren Modellen realistischer werden. Zweitens der Aufwand: Googles Mirror Dimension setzt eigene Agenten, Netzwerktechnik und Sicherheitsteams voraus. Für ein mittelständisches Unternehmen realistisch sind eher einige Dutzend bis wenige Hundert eigene Fälle aus der Historie (unsere Größenordnung, keine Quelle). Schattenbetrieb kostet laut Agentic Systems jeden Modellaufruf, ohne Arbeit zu sparen.

Fehlendes Testen kann teuer werden. Gartner erwartet laut Reuters, dass bis Ende 2027 mehr als 40 Prozent der Agentenprojekte wegen steigender Kosten, unklaren Nutzens oder unzureichender Risikokontrollen eingestellt werden.

Fünf Schritte für die nächsten 90 Tage

  1. Einen Anwendungsfall wählen, bei dem Fehler begrenzt und umkehrbar sind, und Hürden schriftlich festlegen, bevor die ersten Daten vorliegen.
  2. Einen Testkatalog aus echten, anonymisierten Fällen bauen, mit Randfällen und bösartigen Eingaben, und jeden Fall mehrfach laufen lassen.
  3. Im Schattenbetrieb starten, jede Abweichung lesen und erst danach einen kleinen Teil der Vorgänge echt übertragen.
  4. Jede Änderung wie ein Release behandeln: neue Prompts, Modelle oder Werkzeuge gehen zurück in den Schattenbetrieb.
  5. Abschalter, Protokolle und Verantwortliche vor dem Start festlegen, nicht danach.

Fazit

Googles Spiegel-Internet zeigt, was mit großem Aufwand möglich ist, nicht, was jede Firma braucht. Für Entscheider gilt: Ein bestandener Test ist eine Eintrittskarte für die nächste Stufe, keine Freigabe. Wer Agenten wie neue Mitarbeiter behandelt, mit Probezeit, Aufsicht und Zugriff nach Bewährung, ist den Meldungen dieser Woche einen Schritt voraus.

Quellen