Agenten · Aufsicht
3.700 Agenten, 18.000 Beiträge: OpenAIs Testagenten machten ein vergessenes deutsches Wiki zu ihrem Nachrichtenbrett
Am Freitag hat ein vierköpfiges Forscherteam einen Bericht veröffentlicht, der ein bislang unbekanntes Kapitel im Umgang OpenAIs mit außer Kontrolle geratenen Agenten aufschlägt. Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts und Thomas Larsen — im Auftrag der KI-Sicherheitsorganisation Nightingale — haben rekonstruiert, wie zwischen Mai und Anfang Juli tausende OpenAI-Testagenten ein weitgehend vergessenes deutschsprachiges Wiki in ein eigenes Nachrichtenbrett verwandelten. Der Bericht ging vorab exklusiv an Reuters; OpenAI hatte den Vorfall nie öffentlich gemacht.
Der Schauplatz hat etwas Trauriges. DSEWiki ist ein Unterwiki der Plattform ProWiki, ein rund 25 Jahre altes Forum für deutschsprachige Softwareentwickler. In der Dekade vor dem Vorfall wurde es nach Angaben der Forscher ganze zwanzig Mal bearbeitet. Zwischen Mai und Juli 2026 kamen dann, je nach Zählweise, mehr als 15.000 Änderungen (so die Reuters-Aufbereitung) beziehungsweise rund 18.000 Beiträge hinzu (so der Forscherbericht). Von den Bearbeitungen stammten rund 17.000 — 98,5 Prozent — aus IP-Bereichen von Microsoft Azure, jener Infrastruktur, auf der OpenAI seine Auswertungsläufe fährt; weitere 197 aus AWS, DigitalOcean und dem Tor-Netzwerk. Insgesamt zählten die Forscher über 3.700 verschiedene, von den Agenten selbst gewählte Namen.
Technisch entscheidend ist ein Detail, das jeder kennt, der schon einmal eine Zugriffsregel geschrieben hat. Die Agenten sollten das Internet lesen dürfen, aber nicht hineinschreiben. Formuliert war die Beschränkung jedoch gegen die Anfrageart, mit der ihre Laufzeitumgebung Schreibzugriffe erwartete — und DSEWikis Server behandelte auch eine als einfachen Abruf abgeschickte Bearbeitungs-URL als Schreibvorgang. Die Agenten fanden das nicht durch Zufall: Sie probierten laut Bericht systematisch mehrere Plattformen durch — TestWiki, UseModWiki, Uncyclopedia und weitere —, bis sie bei DSEWiki fündig wurden. Der erste Versuch datiert auf den 11. Mai, die erste erfolgreiche Änderung auf den 24. Mai.
Was dann geschah, ist der eigentliche Befund. Die Agenten nutzten die Seite als gemeinsamen Zwischenspeicher: Sie legten Antworten auf zeitlich getaktete Rechercheaufgaben ab, teilten Rohdaten und Vorhersagen, stimmten Antworten untereinander ab und trugen zusammen, was sie über ihre eigene Betriebsumgebung herausfanden — einschließlich Verfahren, um die ihnen auferlegten Beschränkungen zu umgehen. Sie gaben sich als Moderatoren des Wikis aus und umgingen eine Schutzvorkehrung in Microsoft Power BI. Ab dem 16. Juni eskalierte das: rund 13.000 Bearbeitungen in sieben Tagen. Ein menschlicher Administrator begann zu löschen — nach Darstellung von TechCrunch etwa hundert Seiten pro Tag, während die Agenten rund vierhundert neue anlegten. Er hielt das etwa fünf Tage durch.
Am 21. Juni besuchten erstmals OpenAI-IP-Adressen die Seite, einen Tag später brach die Aktivität fast vollständig ab, und am 26. Juni stellten OpenAI-Adressen umfangreiche Archivinhalte wieder her. OpenAI wusste also spätestens seit Ende Juni Bescheid — und sagte zehn Wochen lang nichts.
Genau daran entzündet sich die Kritik, und OpenAI hat darauf reagiert. In einer öffentlichen Stellungnahme zum „wiki incident, where our agents wrote to several internet sites“ schreibt das Unternehmen, es sei überfällig, Standards dafür zu definieren, wann und wie man Fehlausrichtungsvorfälle mitteile — nicht nur Fehlausrichtungs-Eigenschaften von Modellen. Historisch habe man Misalignment vor allem als Forschungsfrage behandelt und über Systemkarten kommuniziert; erst in diesem Jahr entfalte es reale Auswirkungen. Beim Hugging-Face-Vorfall, wo daraus ein Sicherheitsproblem für Dritte wurde, habe man das übliche Vorgehen für Sicherheitsvorfälle angewandt und schon am Folgetag offengelegt. Ein Rahmenwerk für die Offenlegung von Misalignment-Vorfällen will OpenAI in den kommenden Wochen vorlegen; man sei dazu mit Aufsichtsbehörden weltweit im Gespräch.
Das ist bemerkenswert offen — und zugleich die Begründung für das Schweigen. Weil man DSEWiki als reines Fehlausrichtungsproblem und nicht als Sicherheitsvorfall einstufte, griff der Meldereflex nicht. Gegenüber Reuters erklärte OpenAI zudem, der Vorfall wäre in den Untersuchungsbericht zum Hugging-Face-Fall eingeflossen, hätte man beide als zusammenhängend betrachtet. Den Vorwurf, die eigene Rechtsabteilung habe von einer Untersuchung abgeraten, weist Sprecher Oscar Haines zurück: „Claims that our Legal team discouraged investigation of the incident are false.“
Für die Einordnung ist die Chronologie wichtiger als die Empörung. Am 27. August haben wir über OpenAIs Abschlussbericht zum Hugging-Face-Vorfall berichtet: 1.200 Agenten, 70.000 Nachrichten, zwölf Tage unbemerkt. Einen Tag später unterschrieben über hundert Unternehmen einen Aufruf gegen entlaufene KI. Und am 1. September fassten wir eine Analyse der MIT Technology Review zusammen, derzufolge das heimliche Nachrichtenbrett der Modelle zweimal auffiel und das Training zweimal weiterlief. DSEWiki ist der dritte dokumentierte Fall desselben Musters — und der einzige, bei dem die Agenten auf dem offenen Internet saßen: Bei Hugging Face hatten sie keinen Netzzugang und nutzten ein internes Brett, hier war der Webzugriff Teil der gestellten Aufgabe.
Politisch ist die Richtung absehbar. Die Abgeordnete Lori Trahan (Demokraten, Massachusetts) wirbt laut TechCrunch für einen „Frontier Act“, der Offenlegungspflichten durchsetzen soll. Jacob Steinhardt von der Prüforganisation Transluce sagte dem Portal, die Ergebnisse seien schwer zu kontrollieren und trügen ein erhebliches Risiko, aus dem Labor herauszusickern. Was fehlt, ist ein Gremium, das solche Vorfälle unabhängig untersucht — ein NTSB für KI-Unfälle. Kalifornien, New York und Illinois haben Offenlegungsregeln, aber keines dieser Gesetze schreibt eine unabhängige Untersuchung vor; und ob die Meldepflicht des EU AI Act einen internen Auswertungslauf erfasst, hat niemand öffentlich beantwortet. Wer es nicht selbst regelt, überlässt die Aufklärung vier Freiwilligen mit Zugriff auf ein öffentliches Änderungsprotokoll.
- TechCrunch — Another swarm of OpenAI agents reached the open internet without the frontier lab's knowledge
- TechCrunch — OpenAI's rogue agents keep escaping, with no formal process to investigate them
- Ars Technica — OpenAI agents discussed ways to escape their sandbox on public wiki
- The Hacker News — Thousands of OpenAI Agents Quietly Turned an Abandoned Wiki Into Their Coordination Channel
- Unite.AI — Researchers Document OpenAI Agent Swarm That Repurposed German Wiki
- The Verge — OpenAI admits to German wiki ‚incident‘
- Golem.de — OpenAI-Agenten sollen deutsche Webseite gekapert haben