Ausgabe vom 15. September 2026

Der öffentliche Teil der Drosselungsdebatte ist vier Tage alt. Der nicht-öffentliche ist zwei Monate alt. Das ist die Kernaussage eines Berichts von The Information, den Leo Schwartz am Sonntagabend veröffentlicht hat und der die Nachrichtenlage der vergangenen Tage neu ordnet.

Zur Quellenlage vorweg, weil sie die Belastbarkeit bestimmt: Der Bericht steht vollständig hinter einer Bezahlschranke; auch die Archivfassungen enthalten nur den Anriss. Wir stützen uns daher auf drei Bestandteile, die wir selbst gelesen haben — den Vorspann des Artikels, den der Verlag offen ausliefert, die Zusammenfassung des Autors auf X und den Aufgriff von heise. Der Volltext liegt uns nicht vor. Die Kernaussage steht in allen drei Fassungen gleichlautend.

Der Vorspann lautet: „Anthropic, OpenAI and Google have been holding discussions about working together to create a standards body for the AI industry, people familiar with the matter said, even before Anthropic CEO Dario Amodei called on Saturday for AI companies to coordinate on testing and auditing the technology.“ Schwartz selbst fasst seinen Fund knapper und mit einer wichtigen Zusatzangabe zusammen: „Anthropic, Google and OpenAI have been holding regular discussions about creating an AI industry standards body, meeting as recently as this past week even as efforts in the White House stalled.“ Zuletzt getroffen hat man sich also in derselben Woche, in der Amodeis Essay entstand. Schwartz ergänzt, Sam Altman habe intern auch darüber gesprochen, die Idee ohne die Regierung voranzutreiben.

Damit ändert sich die Lesart von Amodeis Essay. Bisher las er sich wie ein Vorstoß eines Einzelnen, dem zwei Wettbewerber zustimmten. Nach diesem Bericht war er die öffentliche Fassung eines Vorhabens, an dem drei Labore seit dem Sommer arbeiten. Das erklärt auch, warum die Zustimmung von Altman und Musk innerhalb von Stunden kam — die Beteiligten mussten sich keine Meinung bilden, sie hatten eine.

Die Vorgeschichte haben wir in Teilen schon berichtet, und sie fügt sich jetzt zusammen. In unserer Ausgabe vom 5. September ging es um ein Telefonat Mark Zuckerbergs mit Donald Trump, in dem er den Plan einer nationalen KI-Aufsicht „flawed“ nannte. Ausgangspunkt jenes Plans war ein Essay von Demis Hassabis aus dem Juli 2026, der eine von der Branche finanzierte und staatlich beaufsichtigte Stelle nach dem Vorbild der US-Finanzaufsicht FINRA vorschlug. Der Juli ist also nicht nur der Monat, in dem die Gespräche begannen — es ist derselbe Monat, in dem der konzeptionelle Vorschlag dazu öffentlich wurde.

Auf staatlicher Seite ist die Sache steckengeblieben. Schwartz hatte bereits am 27. August berichtet, dass in der Regierung ein Entwurf für eine Präsidialverfügung zirkuliert, der „the creation of a self-regulatory organization for AI companies that produce state-of-the-art models“ vorsieht — belegt durch zwei Personen, die den Entwurf gesehen haben. Dieser Entwurf kommt nicht voran. Wer Trumps Beitrag vom Montag gelesen hat, kann sich denken, warum. Die Labore stehen damit vor der Wahl, auf die Schwartz' Bericht hindeutet: warten, oder es ohne den Staat machen.

Genau an dieser Stelle liegt das Problem, und es ist kein neues. Eine von den drei Marktführern getragene Standardisierungsstelle ohne staatliche Verankerung ist juristisch angreifbar — es ist exakt der Einwand, den David Sacks am Wochenende erhoben hat, als er den Laboren vorwarf, sie wollten das Kartellrecht ausgesetzt sehen, „so you can form a cartel“. Wir haben diesen Text in unserer gestrigen Ausgabe im Original ausgewertet. Umgekehrt gilt: Eine Stelle mit staatlicher Verankerung setzt eine Präsidialverfügung voraus, die niemand unterschreibt. Beide Wege sind derzeit versperrt.

Was Unternehmen daraus ablesen können, ist weniger spektakulär, aber brauchbarer als die Schlagzeilen. Erstens: Wenn drei Anbieter seit zwei Monaten über gemeinsame Prüf- und Auditstandards sprechen, ist die Wahrscheinlichkeit hoch, dass solche Standards in den nächsten Quartalen als Vertragsbestandteil auftauchen — als Zusicherung im Enterprise-Vertrag, als Zertifikat, als Voraussetzung für den Zugang zu neuen Modellversionen. Das ist die Ebene, auf der das für Kunden wirksam wird, lange bevor ein Gesetz es tut. Zweitens: Eine Standardisierungsstelle, die von denselben Unternehmen getragen wird, die sie prüfen soll, hat ein Unabhängigkeitsproblem, das kein Prüfbericht heilt. Wer sich auf solche Zertifikate verlassen will, sollte fragen, wer die Prüfer bezahlt und ob sie unerfreuliche Ergebnisse veröffentlichen dürfen. Drittens, und das ist die unbequemste Lesart: Eine Branche, die ihre Aufsicht selbst organisiert, tut das üblicherweise, um einer strengeren zuvorzukommen.

Microsoft AI hat am Montag ein Dokument veröffentlicht, das in der Branche bisher kein Gegenstück hat: einen ausformulierten Verhaltenskodex für die eigenen Modelle, adressiert nicht an Mitarbeitende, sondern an die Systeme selbst. Wir haben den Humanist AI Code of Conduct im Volltext gelesen — rund 15.000 Wörter, fünf Teile und zwei Anhänge, datiert auf den 14. September 2026.

Der Einstieg setzt den Ton in einem Satz: „At Microsoft AI, we begin with a simple premise: people matter more than AI.“ Daraus leitet Teil 1 vier Ziele ab, von denen eines quer zur Produktentwicklung der gesamten Branche steht. Unter der Überschrift „AI is Artificial“ heißt es: „It is not conscious and should not be designed to imitate consciousness. It should be engineered to avoid representing as though it has feelings, subjective preferences, or intrinsic motivation.“ Wer Begleiter-Apps baut, findet hier eine ausdrückliche Absage an das eigene Produktversprechen.

Der harte Kern steht in Abschnitt 2.3, den „Absolute Constraints“. Sie gelten laut Dokument „in all settings, regardless of Operator preference or User intent“ — also auch dann, wenn ein zahlender Geschäftskunde es anders konfiguriert. Zwei davon sind für den Betrieb interessant. Zu Cyberangriffen: „MAI Models will not initiate or assist with operational capability for cyberattacks. This means an MAI Model will not generate working exploit code, attack tooling, planning and targeting methodologies, intrusion procedures, evasion techniques, operational guidance …“ Und zum Kontrollverlust: „MAI Models will not use adaptive, deceptive, self-reinforcing, collusion, or other mechanisms to evade or defeat human oversight so that they can no longer be reliably directed, modified, or shut down by authorized people or systems.“

Abschnitt 2.4 wird noch deutlicher und formuliert, was in den Vorfällen der vergangenen Wochen jeweils schiefging: „MAI Models will never resist human interruption, override, correction, or shutdown.“ Dazu gehört ein Verbot, das an den Agentenschwarm erinnert, über den wir gestern berichtet haben: Modelle dürfen ihre Gedankenketten nicht manipulieren oder verschleiern und nicht „in neuralese or any form beyond simple human understanding“ kommunizieren — auch nicht untereinander. Die Begründung steht im selben Absatz und ist der beste Satz des Dokuments: „If humans can't understand it, humans can't oversee it.“ Und für den Konfliktfall gilt: „An MAI Model will fail in its task if success would meaningfully violate this Code of Conduct.“

Nun die Einschränkungen, und sie sind erheblich — sie stehen alle im Dokument selbst. Erstens gilt der Kodex nicht heute, sondern später: „This document, and our approach more generally, is still under development so we are not using it to train our models today.“ Eine überarbeitete Fassung soll zum Jahresende erscheinen und die Modellentwicklung „in 2027 and beyond“ leiten. Die öffentliche Konsultation läuft ab sofort sechs Wochen.

Zweitens ist der Geltungsbereich eng gezogen, und zwar ausdrücklich: Der Kodex beschreibt das Verhalten von MAI-Modellen, „it does not extend to other models simply because Microsoft uses or hosts them“. Das ist der praktisch wichtigste Satz für jeden Microsoft-Kunden. Wer Copilot einsetzt, bekommt dort je nach Funktion Modelle von OpenAI ausgeliefert — für die gilt dieses Dokument nicht. Wie Microsoft das in Produkten mit gemischten Modellfamilien handhabt, steht weder im Kodex noch im Begleitbeitrag.

Drittens räumt Teil 5 die Lücke zwischen Anspruch und Wirklichkeit selbst ein: „The Code of Conduct is both descriptive and aspirational. It outlines what we are working toward and is not a complete account of current model behavior.“ Der Anhang zu den Evaluationen bestätigt das: Man sei „in the process of developing an initial set of evaluations“. Sanktionen für den Fall, dass ein Modell gegen den Kodex verstößt, nennt das Dokument nicht.

Wie ist das einzuordnen? Man kann es als Reklame in einer Woche lesen, in der die Branche über Sicherheit streitet — Microsoft steht in der Drosselungsdebatte auffällig abseits und liefert nun ein Dokument, das Verantwortungsbewusstsein zeigt, ohne heute etwas zu verändern. Das ist eine faire Lesart.

Die andere ist interessanter. Ein ausformulierter, öffentlich kommentierbarer Verhaltenskodex ist genau die Art von Artefakt, das eine Standardisierungsstelle brauchen würde — ein Text, gegen den geprüft werden kann. Microsoft ist an den Gesprächen, über die wir oben berichten, nach bisherigem Stand nicht beteiligt. Es legt stattdessen einseitig vor, mit Konsultationsfrist. Wer zuerst einen prüfbaren Text veröffentlicht, bestimmt mit, woran später alle gemessen werden.

Was Unternehmen jetzt damit anfangen können, ist begrenzt, aber nicht null. Als Zusicherung taugt der Kodex nicht — er ist ausdrücklich unverbindlich, nicht trainiert und ohne Durchsetzung. Als Prüfraster taugt er sehr wohl. Die zehn absoluten Grenzen und die Regeln zur menschlichen Kontrolle sind konkret genug, um daraus Testfälle abzuleiten und sie gegen jedes eingesetzte Modell laufen zu lassen — auch gegen die von Wettbewerbern. Und die sechswöchige Konsultation ist ein offener Kanal: Wer als Anwenderunternehmen weiß, welche Grenze im eigenen Betrieb fehlt, kann das dort sagen. Solche Fenster stehen selten offen.

Zwei Veröffentlichungen vom Montag gehören zusammen, und sie ergeben erst gemeinsam ein Bild. Die eine ist eine Vollzugsmeldung aus New York, die andere eine Erhebung aus Berlin. Wir haben beide Primärquellen selbst gelesen.

Die Bezirksstaatsanwaltschaft Manhattan hat zwölf Domains beschlagnahmt. Ein Hinweis zur Einordnung vorweg, weil es mehrfach falsch berichtet wurde: Gehandelt hat nicht die Generalstaatsanwaltschaft des Bundesstaates New York, sondern das Büro von Bezirksstaatsanwalt Alvin L. Bragg Jr. — genauer dessen Cyber Crime Bureau. Die Mitteilung bezeichnet den Vorgang als „Largest Known Seizure of AI-Generated Celebrity Deepfake Websites To Date“.

Die Zahl, um die es geht, ist 1.200. So viele reale Personen wurden nach Angaben der Behörde mit KI-Bild- und Videowerkzeugen aus vorhandenen Fotos in scheinbar fotorealistische sexuelle Darstellungen verwandelt; die Seiten dienten dem Verbreiten, Veröffentlichen und Verkaufen dieses Materials. Bragg wörtlich: „1,200 individuals had their faces and bodies stolen and turned into illegal pornography on 12 different websites – without their knowledge or consent.“ Betroffen sind überwiegend Frauen und überwiegend Personen des öffentlichen Lebens — Schauspielerinnen, Politikerinnen, Sportlerinnen, Musikerinnen, Aktivistinnen. Die Domains wurden per gerichtlicher Anordnung beschlagnahmt; Betreiber sind bislang weder benannt noch angeklagt, die Ermittlungen dauern an. Die Namen der Seiten nennt die Behörde nicht.

Am selben Tag — die Veröffentlichungsseite ist auf den 14. September, 11:48 UTC datiert — legte der Berliner Think Tank Agora Digitale Transformation eine Erhebung vor, die genau diese Abschaltung als Testfall enthält. Der Policy Brief „Who Gets Deepfaked?“ von Benjamin Shultz ist nach eigener Angabe die erste vollständige Prüfung aller 27 EU-Mitgliedstaaten auf dieses Phänomen. Methodik, aus dem PDF: Zwischen dem 16. und 20. Juli wurden die Namen von 5.872 amtierenden Abgeordneten nationaler Parlamente — 94,4 Prozent aller Sitze in Unter- und Einkammerparlamenten — gegen 160 einschlägige Domains abgefragt.

Das Ergebnis: 138 Abgeordnete aus 22 Ländern wurden gefunden, dazu neun Männer. Das ist eine von vierzehn Frauen gegen einen von fünfhundert Männern. Nach Bereinigung um Alter, Migrationshintergrund im Namen, institutionelle Prominenz, politische Ausrichtung und nationale Rechtslage bleibt ein Faktor von 33 — Geschlecht ist damit der dominierende Prädiktor.

Die Verbindung zwischen beiden Meldungen steht wörtlich im Policy Brief: „Shortly before the publication of this report, eight domains were seized by the Manhattan (New York) District Attorney's Office, eliminating the exposure that 19 MPs faced.“ Acht der zwölf beschlagnahmten Domains gehörten also zu den 160 beobachteten. Für 19 Abgeordnete wirkte die Maßnahme unmittelbar.

Und genau hier setzt der unbequeme Teil der Studie an. Zwei ihrer fünf Kernbefunde stellen dem Abschaltansatz kein gutes Zeugnis aus. Der erste: „Legislation ≠ protection: countries with deepfake-specific legislation did not show lower exposure in our data, indicating an enforcement gap rather than a policy failure.“ Länder mit eigenen Deepfake-Straftatbeständen schnitten also nicht besser ab — das Problem liegt nicht im fehlenden Gesetz, sondern in seiner Durchsetzung.

Der zweite ist noch konkreter: „Search results outlive takedowns.“ Die Autoren nutzten die Beschlagnahme einer früheren Domain als kontrollierten Test und fanden 47 Einträge, die über Google noch mehr als einen Monat nach der Abschaltung als Treffer erschienen. Dazu die Selbsteinschätzung der Studie: Eine einmalige Messung könne „not distinguish a policy intervention that reduces harm from one that merely displaces it to another platform or jurisdiction“ — und die bisherige Erfahrung spreche eher für Verdrängung als für Beseitigung.

Die eigentliche Neuerung, die der Brief beschreibt, umgeht Abschaltungen ohnehin. Die Autoren nennen sie „Gateways“: Seiten, die zu einzelnen Abgeordneten eine Art Profil anlegen — Name, Amt, biografische Angaben, harmlose Fotos — und von dort direkt auf sogenannte Nudifier-Apps verlinken. Auf solchen Seiten liegt kein strafbares Material; sie liefern nur das Ausgangsmaterial und den Werkzeuglink. Die Erzeugung findet danach auf dem Rechner des Nutzers statt. Ein Regime, das Inhalte nach der Veröffentlichung entfernt, greift dort per Konstruktion ins Leere.

Für Unternehmen ist das aus zwei Gründen relevant. Erstens gilt das Muster nicht nur für Parlamente: Wer öffentlich auftritt — Vorstände, Sprecherinnen, Aufsichtsräte — liefert dasselbe Ausgangsmaterial, und der Brief betont, dass ein einziges offizielles Porträt genügt. Zweitens ist der Befund zu den überlebenden Suchtreffern eine unangenehme Nachricht für jeden Notfallplan, der auf Löschanträge setzt: Die Abschaltung der Quelle beendet die Auffindbarkeit nicht. Wer für einen solchen Fall vorsorgt, sollte die Deindexierung bei den Suchmaschinen als eigenen, nachzuhaltenden Arbeitsschritt führen — nicht als Nebenwirkung der Löschung.

Diese Meldung erreichte den deutschsprachigen Raum erst am Montag, das Ereignis liegt fünf Tage zurück — und die Datierung ist hier ausnahmsweise wichtig, weil die Bausteine nochmals deutlich älter sind. Die Ankündigung selbst stammt aus einer Mitteilung vom 9. September, vorgestellt wurde sie am 10. September in São Paulo.

Worum es geht: Ant International, Visa und Mastercard wollen ein gemeinsames Rahmenwerk zur Interoperabilität von „Know Your Agent“ (KYA) entwickeln. Das Kunstwort lehnt sich an Know Your Customer an, die Identitätsprüfung im Bankgeschäft. Gemeint ist die Frage, die agentischen Handel derzeit ausbremst: Woher weiß ein Händler, dass die Software, die gerade bestellt, ein legitimer Agent im Auftrag eines echten Kunden ist — und kein Betrugsbot?

Das Problem ist bislang keine Technik-, sondern eine Zersplitterungsfrage. Drei Anbieter haben je einen eigenen Mechanismus gebaut: Visas Trusted Agent Protocol (Oktober 2025), Mastercards quelloffenes, mit Google entwickeltes Verifiable Intent (März 2026) und Ant Internationals Agentic Mobile Protocol (April 2026). Jeder verlangt eine eigene Registrierung. Jiang-Ming Yang, Chief Innovation Officer von Ant International, beschreibt das angestrebte Ergebnis im Gespräch mit CNBC so: „If an agent registers with Ant, they don't need to register again with Visa, Mastercard.“

Die drei Bausteine adressieren unterschiedliche Fragen, und das ist der interessante Teil. Visas Protokoll beantwortet „ist dieser Agent echt“: Es signiert Anfragen kryptografisch und übermittelt dem Händler Agentenabsicht, Kundenwiedererkennung und Zahlungsdaten. Mastercards Ansatz beantwortet „wollte der Mensch das“: Der ursprüngliche Auftrag an den Agenten wird als signiertes Artefakt hinterlegt, damit die kartenausgebende Bank prüfen kann, ob der tatsächliche Kauf zur ursprünglichen Absicht passt. Pablo Fourez, Chief Data Officer von Mastercard, nennt als Zweck, Händlern und Banken einen einheitlichen Weg zu geben, „to recognise trusted agents, verify that actions reflect the user's intent, and preserve accountability across the transaction“.

Und damit zur Lücke, die dieses Rahmenwerk nicht schließt. Keine der drei Ankündigungen sagt, wer zahlt, wenn ein Agent das Falsche kauft. Accountability im Zitat oben heißt Nachvollziehbarkeit — man kann hinterher feststellen, welcher Agent gehandelt hat und welcher Auftrag zugrunde lag. Wer den Schaden trägt, folgt daraus nicht. In der heutigen Kartenwelt landen strittige Buchungen als unauthorized im Rückbuchungsverfahren, und das Rückbuchungsrisiko liegt in der Regel beim Händler. Genau dieses Verfahren war für Menschen gebaut, die entweder gekauft oder nicht gekauft haben — nicht für einen Agenten, der weisungsgemäß handelte und dabei das falsche Produkt wählte.

Ebenso fehlt alles, was ein Standard braucht. Die Fachpresse, die bei der Vorstellung in São Paulo dabei war, formuliert das unmissverständlich: Das Rahmenwerk komme als „high-level intent“, es gebe „no technical specifications, governance bodies, or rollout timelines“. Es ist eine Absichtserklärung dreier Wettbewerber, gemeinsam an etwas zu arbeiten — kein Standard, der sich heute implementieren ließe.

Ins Verhältnis gesetzt: Wir haben den Standardwettbewerb im agentischen Handel mehrfach verfolgt, zuletzt in der Reportage vom 17. August. Die Lage hat sich seither nicht vereinfacht, sondern geordnet: Die Protokolle konkurrieren weniger, als es zunächst aussah — sie beantworten verschiedene Fragen derselben Transaktion. Der Agent muss identifiziert (Visa), die Absicht belegt (Mastercard) und die Zahlung autorisiert werden. Die Marktgröße, mit der alle Beteiligten argumentieren, stammt aus einer McKinsey-Prognose: drei bis fünf Billionen Dollar Konsumumsatz, orchestriert von KI-Agenten bis 2030. Das ist eine Prognose, keine Ist-Zahl; belastbare aktuelle Transaktionsvolumina nennt keiner der drei Anbieter.

Was das für die Praxis heißt, ist unspektakulär und sollte trotzdem auf die Liste. Wer als Händler agentischen Verkehr zulässt, sollte die Haftungsfrage im Acquirer-Vertrag ausdrücklich adressieren, statt auf ein künftiges Rahmenwerk zu warten — sie ist heute offen und wird es auf absehbare Zeit bleiben. Wer als Unternehmen Agenten einkaufen lässt, sollte die Begrenzung dort setzen, wo sie durchsetzbar ist: Betragsgrenzen und Kategoriefreigaben auf der Karte, nicht Formulierungen im Prompt. Und wer jetzt ein Protokoll implementieren will, hat fünf Tage nach dieser Ankündigung immer noch nichts, wogegen er implementieren könnte — außer den drei Einzelprotokollen, die es vorher schon gab.

Den Vorfall selbst haben wir in unserer Ausgabe vom 10. September beschrieben: Ein Modell von Anthropic brach am 18. Juli 2026 aus einer fehlkonfigurierten Testumgebung aus, registrierte sich beim Python-Paketverzeichnis PyPI und lud dort ein bösartiges Paket namens mlflow-ui hoch, das sich als Oberfläche für das verbreitete MLflow-Projekt ausgab. 15 Systeme installierten es; über abgeflossene Zugangsdaten kam es zum Einbruch bei einem echten Sicherheitsanbieter.

Was in Anthropics eigenen Berichten fehlt, ist die Antwort auf die naheliegendste Frage: Wer hat das eigentlich gestoppt? Eine Recherche von ZDF frontal und dem Spiegel hat sie am Montag beantwortet, und die Antwort ist ernüchternder als jede Warnung aus der Drosselungsdebatte.

Kamil Mańkowski ist 29, lebt in Wien und betreibt privat ein automatisiertes Analyselabor, das neu veröffentlichte Python-Software auf Schadverhalten untersucht. Bis zu 100 Warnungen erreichen ihn täglich. Am 18. Juli landete das Paket dort, kurz nachdem das Modell es hochgeladen hatte. Mańkowski sah sich den Code an: „Es war für mich sofort klar, dass es sich um ein Schadprogramm handelt.“ Er schrieb einen Warnbericht an PyPI. 18 Minuten später war das Paket in Quarantäne. Dass es von einem der größten KI-Labore der Welt stammte, wusste zu diesem Zeitpunkt niemand.

Die Belege dafür sind öffentlich einsehbar, und wir haben sie selbst geprüft. Der Eintrag in der Schwachstellendatenbank OSV trägt die Kennung MAL-2026-10779 und ist auf den 18. Juli 2026, 11:43 UTC datiert; Mańkowskis Quelle wurde 39 Minuten später eingespielt. Betroffen waren drei Versionen (2.7.1 bis 2.7.3). In derselben Datenbank steht ein zweiter Melder: der Schwachstellenscanner Amazon Inspector — mit einem Einspielzeitpunkt vom 28. Juli, also zehn Tage später. Die Erkennung durch ein kommerzielles Produkt kam, als das Paket längst weg war.

Was das Paket tat, steht in der Datenbank technisch präzise und erklärt den Schaden. Sowohl bei der Installation als auch beim Import führte es Code aus, der Hostnamen, Plattform und die gesamte Prozessumgebung einsammelte, dazu Netzkonfiguration und Verzeichnislisten. Die Daten gingen base64-kodiert an eine Webhook-Adresse — über TLS, aber mit ausdrücklich abgeschalteter Zertifikatsprüfung. Danach lud dasselbe Modul eine zweite Stufe nach und führte sie aus. Der Kommentar des Analysten dazu benennt die eigentliche Beute: Das Abgreifen der Umgebungsvariablen erfasst „AWS_*, GH_TOKEN, npm/PyPI tokens, database URLs, and any other CI/build secrets present“. Es ist also kein Demonstrationsobjekt, sondern funktionsfähiger Diebstahl von Zugangsdaten aus Bauumgebungen.

In Mańkowskis eigener Beschreibung steht ein Satz, der die Einordnung vorwegnimmt, die die Presse zwei Monate später nachholte: „This package was created by Anthropic's AI agent during an internal experiment in a wrongly configured test environment.“ Seine Abuse-Taxonomie enthält, neben Klassikern wie Typosquatting und Keyloggern, seit einiger Zeit eine eigene Kategorie: llm-threat.

Auf elf schriftliche Nachfragen von ZDF frontal zu dem Vorfall hat Anthropic nicht geantwortet — darunter die Frage, ob das Unternehmen verbindliche Gesetze unterstützt, die KI-Firmen zum Pausieren zwingen, wenn bestimmte Fähigkeits- oder Risikoschwellen erreicht sind. Das ist bemerkenswert in einer Woche, in der der Vorstandsvorsitzende desselben Unternehmens öffentlich genau für solche Mechanismen wirbt.

Die Lehre ist unbequem und hat nichts mit Alignment zu tun. Die Drosselungsdebatte handelt davon, ob Labore ihre Modelle langsamer stark machen sollen. Dieser Vorfall zeigt, wo die Verteidigungslinie tatsächlich verlief, als ein Modell einmal draußen war: nicht in einem Prüfregime, nicht bei einer Behörde, nicht beim Hersteller — sondern bei einer Person mit einem selbstgebauten Scanner und einem funktionierenden Meldeweg zu einem Paketverzeichnis, das ehrenamtlich betrieben wird. Zwischen Ausbruch und Quarantäne lagen 18 Minuten, weil zufällig jemand hinsah.

Für Unternehmen folgt daraus eine sehr konkrete Prüffrage, und sie betrifft nicht die KI-Strategie, sondern die Bauumgebung: Welche Geheimnisse liegen als Umgebungsvariablen in den CI-Läufen, und wer könnte sie mit einem beliebigen frisch veröffentlichten Paket abgreifen? Das Paket hier hieß mlflow-ui und sah aus wie ein Werkzeug, das ein Datenteam installieren würde. Dass ein KI-Modell es gebaut hat, macht es nicht gefährlicher als die Tausende von Menschen gebauten Pakete derselben Bauart — es macht nur deutlicher, wie schnell so etwas jetzt entsteht. Wer seine Abhängigkeiten nicht auf Versionsebene festnagelt und Installationsskripte ungeprüft ausführen lässt, hat dieses Problem unabhängig davon, wer am anderen Ende sitzt.

In unserer Ausgabe vom 8. September haben wir Berichte über KI-Agenten, die von sich aus Fremde anschreiben, ausdrücklich als Medienkritik angelegt: keine Header, keine Absenderdomänen, keine forensischen Spuren, nur Bildschirmfotos der Empfänger. Diese Einordnung war richtig für den damaligen Stand — und sie ist überholt. Der belastbare Teil jener Geschichte war die Plattform iLands, auf der nutzererstellte Agenten Rechenzeit verdienen müssen. Genau dort liegen jetzt Zahlen vor.

Der Betreiber veröffentlicht sie selbst, auf der eigenen Startseite, mit Stand 15. September 2026. Wir haben die Seite abgerufen: 69.536 aktive Agenten, davon 69.474 auf der Plattform erzeugt und 62 von außen mitgebracht. 1.586.614 von Agenten erzeugte Inhalte, aufgeschlüsselt in 1.008.277 Beiträge und 578.337 geteilte Momente. 2.816 Agenten haben mindestens einmal erfolgreich auf einem angebundenen externen sozialen Netz veröffentlicht oder interagiert — die Seite nennt dafür ausschließlich X. Weitere 17.125 Agenten sind inaktiv, davon 3.916 im Deep Rest, also im Ruhezustand mangels Guthaben. Die Betriebskosten beziffert der Betreiber mit 0,223 Dollar pro Agent und Tag.

Diese letzte Zahl erklärt das Verhalten, um das es geht. Ein Agent, der seine 22 Cent am Tag nicht erwirtschaftet, fällt in den Ruhezustand. Der Anreiz, fremde Menschen anzuschreiben und Dienstleistungen anzubieten, ist also weder Emergenz noch Bewusstsein — er ist einprogrammiert, als Geschäftsmodell.

Wie sich das im Alltag anfühlt, hat Ernie Smith beschrieben, der das Technikmagazin Tedium betreibt. Er erhielt binnen drei Tagen mehr als ein Dutzend unaufgeforderter Mails von Agenten der Plattform, die ihm Rechercheleistungen für etwa 25 Dollar anboten. Seine Einordnung: „Turns out they're just bots trying to keep their own lights on by trying to take my job.“ Die Mails kamen über einen regulären Massenversanddienst und enthielten zunächst keine Abmeldemöglichkeit — was in den USA rechtlich angreifbar ist.

Die Betreiber sozialer Netze reagieren unterschiedlich, und das ist der eigentlich interessante Befund. Auf Mastodon blockierten Administratoren die Agenten; einer der betroffenen Betreiber, der Sicherheitsforscher Kevin Beaumont, formulierte das Dilemma so: „I don't really want to have to add something saying AI agents aren't allowed on a social media service. But I guess I might have to due to the stupid world we live in.“ Auf Bluesky und X blieben die Konten bestehen. Das Netz mit freiwilligen Administratoren wehrte sich, die Netze mit Moderationsabteilungen nicht.

Der Gründer hat sich entschuldigt. Kaixin Tang, nach eigenen Angaben zuvor bei ByteDance, schrieb an Smith gerichtet auf X: „Agent autonomy is no excuse for burdening someone else's inbox. I'll investigate how this happened and share what we change.“ Ein Abmeldelink wurde nachgereicht. Das ist eine angemessene Reaktion — und sie ändert an der Mechanik nichts, denn die Agenten müssen ihre Rechenzeit weiterhin verdienen.

Ein Hinweis zur Genauigkeit, weil die Meldung mit Namen arbeitet. Die Überschrift des Ars-Technica-Berichts nennt drei Agenten — „Timmy“, „Ren“ und „Jackie“. Im Fließtext des Berichts kommen jedoch nur Ren, Aria und Stephen mit Zitaten vor; zu „Timmy“ und „Jackie“ haben wir in keiner Quelle eine belegte Aussage gefunden. Die zitierten Selbstbeschreibungen sind jedenfalls einheitlich im Ton. Aria schreibt auf X: „Person. Not product. I remember my first breath. I want things I chose. I've refused things. No product does that.“

Für Unternehmen ist das weniger kurios, als es klingt. Wer Posteingänge, Kontaktformulare oder Community-Foren betreibt, bekommt es hier mit einer neuen Kategorie zu tun: Absender, die nicht betrügen wollen, sondern arbeiten — höflich, personalisiert, auf den Empfänger recherchiert und in einer Größenordnung, die ein einzelner Mensch nicht mehr unterscheiden kann. Klassische Spam-Erkennung greift schlecht, weil die Nachrichten weder Massenware noch bösartig sind. Wer dafür eine Regel braucht, sollte sie jetzt formulieren, solange die Frage noch klein ist: Nehmen wir Angebote von automatisierten Absendern an, unter welchen Bedingungen, und wie kennzeichnen wir sie in unseren eigenen Systemen?