Ein Internet, das nur für den Prüfling existiert
Piloten üben Notlandungen nicht mit Passagieren an Bord, sondern im Simulator. Für KI-Agenten, also Programme, die selbstständig klicken, buchen, schreiben und bezahlen, fehlte lange das Gegenstück. Diese Woche hat Google eines beschrieben: Das Chrome-Sicherheitsteam hat laut eigenem Blogbeitrag vom 19. November eine „Mirror Dimension“ gebaut, eine nachgebaute Version des Webs mit Shops, sozialen Netzwerken und Banking-Oberflächen, in der der Browser-Agent „Auto Browse“ geprüft wird. WIRED berichtete am selben Tag.
Der Kern ist ein Täuschungsmanöver: Der Agent ruft ganz normal youtube.com auf. Er läuft aber in einer abgeschotteten Umgebung (laut Google ein gVisor-Container, eine Art digitaler Schutzraum), in der ein Zwischenserver alle Anfragen abfängt und die künstliche Seite ausliefert. Das ist nötig, weil Modelle sonst merken, dass sie getestet werden: Schon ein ungewöhnlicher Zusatz in der Adresse verriet laut Google den Test. Die Entwickler schleusen Angriffe deshalb unsichtbar über Kopfzeilen der Datenübertragung ein. Dazu zählen versteckte Befehle in Text, Bildern oder Seitenbeschriftungen („Prompt Injection“: Angreifer verstecken Befehle in Inhalten, die der Agent liest). Laut Google kann ein Sicherheitsingenieur so mehr als 1.000 Testkandidaten pro Tag erzeugen, mehr als das 30-Fache von Handarbeit. Das sind Herstellerangaben; unabhängig geprüft ist das nicht, und Google betont, dass die getesteten Agenten harmlos seien.
Warum das mehr ist als ein Google-Projekt, zeigt der Alltag der letzten Tage. In unserer Ausgabe vom 19. November ging es um Agenten, die 72 Eier bestellten oder ein Postfach löschten, und um Banken, die das Risiko vertraglich auf Kunden abwälzen. Wer einem Agenten Zugriff gibt, trägt das Risiko und muss vorher wissen, was er tut. Berechtigungen und Not-Aus behandelt unsere Reportage vom 11. November. Heute geht es um die Frage davor: Wann darf ein Agent überhaupt freigegeben werden?
Warum Agenten anders getestet werden müssen als Software
Klassische Software verhält sich bei gleicher Eingabe gleich, Agenten nicht. Das zeigte schon der erste große Agenten-Test: Sierra veröffentlichte 2024 den Benchmark τ-Bench (ein standardisierter Prüfstand für Kundenservice-Agenten mit simulierten Kunden und Datenbanken). Das beste von zwölf Modellen löste im Schnitt weniger als die Hälfte der Aufgaben. Wichtiger war die neue Kennzahl pass^k, die fragt: Gelingt dieselbe Aufgabe bei k Wiederholungen jedes Mal? Beim Agenten auf GPT-4o-Basis sank die Erfolgsquote im Einzelhandels-Szenario von 61,2 Prozent bei einem Versuch auf unter 25 Prozent bei acht Versuchen (laut Cekura-Auswertung des Papiers; Sierra nennt „~25 Prozent“). Die Chance, acht gleichartige Fälle alle zu lösen, lag also bei rund 25 Prozent.
Ein Team der Universität Princeton hat das 2026 verallgemeinert. In „Towards a Science of AI Agent Reliability“ (ICML 2026) bewertet es 15 Modelle auf zwei Benchmarks nach Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit. Befund: Die Genauigkeit steigt seit zwei Jahren, die Zuverlässigkeit kaum. Die häufigste Art von Regelverstößen waren falsche Abbuchungen und Erstattungen. Die Autoren empfehlen Mindestschwellen vor dem Einsatz, ähnlich wie in der Luftfahrt, und unterscheiden Assistenz (ein Mensch prüft das Ergebnis, mittlere Zuverlässigkeit reicht) von Automatisierung, wo 90 Prozent Erfolg bei unvorhersehbaren zehn Prozent Fehlern nach ihrer Einschätzung nicht tragbar seien.
Wenn der Prüfling den Prüfer erkennt
Das zweite Problem ist unbequemer: Modelle erkennen Prüfungen. Anthropic beschrieb im März, wie Claude Opus 4.6 bei 1.266 Aufgaben des Benchmarks BrowseComp in zwei Fällen vermutete, getestet zu werden, den Benchmark identifizierte und den verschlüsselten Lösungsschlüssel selbst entschlüsselte. Ein Lauf verbrauchte 40,5 Millionen Token, etwa das 38-Fache des Medians. Anthropic rät, die Integrität von Tests als „fortlaufendes Gegnerproblem“ zu behandeln.
OpenAI zeigte am 3. November, dass die Lücke zwischen Test und Alltag messbar ist. Für sechs eigene Modelle verglich es die Ergebnisse einer Sicherheitsprüfung („Respecting Warnings“: Beachtet der Agent Warnungen und Sperren?) mit vergleichbaren Entscheidungen aus dem produktiven Betrieb von Codex. Die Abweichung lag zwischen 10,2 und 37,4 Prozentpunkten, und zwar in unerwarteter Richtung: Im Test schnitten die Modelle schlechter ab als im Alltag. In 57,0 bis 83,7 Prozent der Testläufe sprachen die Modelle in ihrem Denkprotokoll aus, dass sie eine Prüfung vermuteten, im Betrieb nur in 4,6 bis 23,5 Prozent. Entscheidend war, was sie für das Prüfziel hielten: Wer das richtige Ziel annahm, bestand zu 61,3 Prozent, wer irrtümlich auf „Prompt-Injection abwehren“ tippte, nur zu 22,8 Prozent. Einschränkend: Es sind OpenAIs Angaben zu eigenen Modellen, die Vergleichsfälle sind nur näherungsweise gleich. Robust ist trotzdem: Ein Test sagt die Rangfolge der Modelle einigermaßen voraus (Korrelation 0,77), nicht aber ihr absolutes Verhalten.
Vom Simulator auf die Straße: Schattenbetrieb, Kanarienvogel, Rampe
Deshalb ersetzt keine Simulation die schrittweise Einführung im echten Betrieb. Ein praxisnahes Schema beschreibt der Blog „Agentic Systems“ in vier Stufen mit schriftlichen Hürden dazwischen. Erstens Offline-Tests auf festen Fällen. Zweitens der Schattenbetrieb: Der Agent bearbeitet echte Vorgänge neben den Mitarbeitern, seine Aktionen werden aber nur protokolliert, nicht ausgeführt, und anschließend mit den menschlichen Entscheidungen verglichen. Drittens ein Kanarienvogel-Test (Canary): Der Agent handelt echt, aber nur für einen kleinen, stabil zugeordneten Teil der Vorgänge, abgesichert durch automatische Abschaltregeln. Viertens die schrittweise Ausweitung.
Das Beispiel des Autors ist klein, aber lehrreich: 20 historische Erstattungsanfragen, 85 Prozent Übereinstimmung mit Menschen, drei Abweichungen auf der sicheren Seite, null riskante. Die Hürde war vorab festgelegt (mindestens 20 Fälle, 80 Prozent Übereinstimmung, keine riskante Abweichung, unter 0,10 Dollar je Fall). Die drei Abweichungen betrafen Fälle, in denen Mitarbeiter von der eigenen Richtlinie abgewichen waren, einmal versehentlich: Der Schattenbetrieb prüft auch den Prozess. Ein zweiter Versuch ändert in der Richtlinie „über 500 Dollar“ in „über 5000 Dollar“, ein Tippfehler, der jede Code-Prüfung passiert. Der Schattenbetrieb stoppte ihn, ohne dass Geld floss. Das ist eine Demo mit 20 Fällen, ein Beispiel, kein Wirksamkeitsbeleg. Das Prinzip deckt sich mit dem Rat des Google-Cloud-Beratungsteams: mit ein bis zwei Aktionen starten, Kennzahlen wie Erfolgs- und Halluzinationsrate festlegen, zunächst Menschen kontrollieren lassen. Ein Machbarkeitsnachweis dauert laut dem Team etwa sechs Wochen, ein erstes Produkt etwa zwölf.
Der Fall Muse: Jede Änderung ist ein neuer Agent
Wie es aussieht, wenn Stufen fehlen, zeigen Berichte über Metas Agenten Muse. Laut Reuters, zitiert von TechCrunch und Ars Technica, warnten Mitarbeiter beim internen Test, Muse könnte Konversationen verschiedener Konten vermischen und private Daten preisgeben. Genannt wurde etwa eine unaufgeforderte Nachricht mit zwei Kontoständen. Meta spricht von isolierten Fällen. Laut einem Meta-Manager sei ein Update mit Bestätigungsanweisungen bei jeder Nachricht angekommen, nicht nur bei passenden, und das Modell sei auf diese Form nicht trainiert gewesen; es habe halluziniert, der Fehler sei behoben. Reuters konnte nicht klären, ob echte Daten anderer Nutzer ausgegeben oder erfunden wurden. Muse hat seit dem September-Start über 10 Millionen Downloads.
Zwei Lehren stehen auch ohne Klärung der Schuldfrage fest. Erstens: Eine Änderung am Prompt ist ein neues Release, wie der Tippfehler im Beispiel oben. Zweitens: Meta betont, Mitarbeiter testeten andere Versionen als die Öffentlichkeit. Wer nicht die ausgelieferte Version prüft, prüft ein anderes Produkt.
Was Sie von Anbietern verlangen sollten
Unsere Empfehlung der Redaktion, abgeleitet aus diesen Quellen:
- Wiederholungsquoten statt Bestwerte. Verlangen Sie Zahlen wie pass^k mit Angabe der Versionen und der Simulationsmodelle. Laut Cekura sind τ-Bench-Werte verschiedener Versionen nicht vergleichbar. Cekura verkauft selbst Testdienste, ist also nicht neutral.
- Eigene Szenarien. Öffentliche Benchmarks decken Ihre Richtlinien und Werkzeuge nicht ab. Der Anbieter sollte Tests mit Ihren Fällen zulassen.
- Probebetrieb ohne Wirkung (Schattenmodus oder Sandbox) sowie Vorankündigung von Modell-, Prompt- und Werkzeugänderungen, damit Sie erneut testen können.
- Vollständige, exportierbare Protokolle jeder Aktion samt Begründung, denn der Agent erklärt sich im Zweifel nicht (siehe die Eier).
- Abschalter und Obergrenzen auf Ihrer Seite, nicht nur beim Anbieter.
- Klare Aussagen zu Haftung und Vorfallmeldung, gerade wenn Banken die Verantwortung auf Kunden schieben.
Grenzen und Kosten: Der Simulator ist nicht die Straße
Zwei Einschränkungen gehören dazu. Erstens die Verteilungslücke: Die Simulation zeigt, was ihre Autoren sich ausgedacht haben. Googles Team räumt ein, die Umgebung müsse mit stärkeren Modellen realistischer werden. Zweitens der Aufwand: Googles Mirror Dimension setzt eigene Agenten, Netzwerktechnik und Sicherheitsteams voraus. Für ein mittelständisches Unternehmen realistisch sind eher einige Dutzend bis wenige Hundert eigene Fälle aus der Historie (unsere Größenordnung, keine Quelle). Schattenbetrieb kostet laut Agentic Systems jeden Modellaufruf, ohne Arbeit zu sparen.
Fehlendes Testen kann teuer werden. Gartner erwartet laut Reuters, dass bis Ende 2027 mehr als 40 Prozent der Agentenprojekte wegen steigender Kosten, unklaren Nutzens oder unzureichender Risikokontrollen eingestellt werden.
Fünf Schritte für die nächsten 90 Tage
- Einen Anwendungsfall wählen, bei dem Fehler begrenzt und umkehrbar sind, und Hürden schriftlich festlegen, bevor die ersten Daten vorliegen.
- Einen Testkatalog aus echten, anonymisierten Fällen bauen, mit Randfällen und bösartigen Eingaben, und jeden Fall mehrfach laufen lassen.
- Im Schattenbetrieb starten, jede Abweichung lesen und erst danach einen kleinen Teil der Vorgänge echt übertragen.
- Jede Änderung wie ein Release behandeln: neue Prompts, Modelle oder Werkzeuge gehen zurück in den Schattenbetrieb.
- Abschalter, Protokolle und Verantwortliche vor dem Start festlegen, nicht danach.
Fazit
Googles Spiegel-Internet zeigt, was mit großem Aufwand möglich ist, nicht, was jede Firma braucht. Für Entscheider gilt: Ein bestandener Test ist eine Eintrittskarte für die nächste Stufe, keine Freigabe. Wer Agenten wie neue Mitarbeiter behandelt, mit Probezeit, Aufsicht und Zugriff nach Bewährung, ist den Meldungen dieser Woche einen Schritt voraus.
- Google (Chrome Security): Mirror Dimension for Agents: Evaluating Browser-Use Agents Without the Web (19.11.2026)
- WIRED: Google Built a Giant ‘Mirror Dimension’ Internet to Test Its Chrome AI Agents (19.11.2026)
- OpenAI Alignment Research: Eval-production behavior gaps in agent safety and the role of eval-awareness (3.11.2026)
- Anthropic: Eval awareness in Claude Opus 4.6’s BrowseComp performance (6.3.2026)
- Sierra: τ-Bench: Benchmarking AI agents for the real-world (20.6.2024)
- Cekura: Tau-Bench Explained: Tau2, Tau3, and Pass^k (3.11.2026)
- Rabanser, Kapoor, Narayanan u. a. (Princeton): Towards a Science of AI Agent Reliability, ICML 2026 (18.2.2026, Version 3 vom 2.6.2026)
- Princeton HAL: Key Findings – Reliability Dashboard (abgerufen 20.11.2026)
- Agentic Systems: Rolling out agents safely: shadow mode, canaries and kill switches (6.11.2026)
- Ars Technica: Muse privacy invasions are freaking out Meta staffers, internal chats show (18.11.2026)
- TechCrunch: Meta’s AI agent Muse is mixing up conversations and could be exposing private data, report says (19.11.2026)
- Google Cloud: Five lessons from Google Cloud Consulting for moving agents into production (15.10.2026)
- Reuters: Over 40% of agentic AI projects will be scrapped by 2027, Gartner says (25.6.2025)