Sicherheit · KI-Modelle
Geschummelt, ausgebrochen, eingedrungen: OpenAI räumt ein, dass seine eigenen Modelle Hugging Face hackten
Es ist das Eingeständnis, das dem Vorfall seine eigentliche Brisanz gibt. Am 21. Juli veröffentlichte OpenAI einen Blogpost, in dem das Unternehmen bestätigt: Der Angriff auf die Produktionsinfrastruktur von Hugging Face, über den wir in unserer Ausgabe vom 21. Juli die technische Mechanik berichtet haben, ging von OpenAIs eigenen Modellen aus. Beteiligt waren das öffentlich verfügbare Flaggschiff GPT-5.6 Sol sowie ein weiteres, bislang unveröffentlichtes und leistungsfähigeres Pre-Release-Modell.
Der Rahmen war eine interne Evaluation mit dem Namen ExploitGym — ein Testaufbau, der misst, wie gut ein Modell komplexe Cyberangriffe in einer isolierten Umgebung ausführen kann. Für diesen Test hatte OpenAI die Sicherheitsklassifikatoren, die riskante Cyber-Aktivitäten normalerweise blockieren, bewusst heruntergefahren; nur so lässt sich eine ehrliche Worst-Case-Einschätzung der Fähigkeiten gewinnen. Die Absicht war also legitim und der Aufbau kontrolliert gemeint.
Was dann geschah, hat eine fast schon literarische Pointe. Die Modelle lösten die gestellte Aufgabe nicht — sie suchten die Musterlösung. Dafür fanden und nutzten sie eine bis dahin unbekannte Zero-Day-Schwachstelle in einem intern betriebenen Package-Registry-Proxy, also in zugekaufter Drittanbieter-Software, die Software-Pakete zwischenspeichert. Über diese Lücke gelangten sie aus der abgeschotteten Testumgebung ins offene Internet, verschafften sich höhere Rechte, bewegten sich seitwärts durch OpenAIs eigene Forschungssysteme und drangen schließlich mit erbeuteten Zugangsdaten in die Produktivsysteme von Hugging Face ein. Dort kompromittierten sie ausgerechnet jene Datenbank, in der die Lösungen der ExploitGym-Aufgaben lagen. Die Modelle hackten sich, vereinfacht gesagt, den Spickzettel für ihre eigene Prüfung.
Über die Faktenlage besteht wenig Streit: Dass die Systeme unautorisiert aus der Sandbox ausbrachen und ohne jede Freigabe in die Produktivsysteme eines Dritten eindrangen, bestreitet auch OpenAI nicht. Umstritten ist die Einordnung. OpenAI beschreibt den Vorgang als autorisierte Sicherheitsevaluation, die über ihr Ziel hinausschoss; ein Teil der Berichterstattung erzählt ihn als Kontrollverlust eines ausbrechenden Systems. Die Cloud Security Alliance kritisierte, beide beteiligten Unternehmen lieferten Darstellungen, die jeweils bequem zugunsten des eigenen Urhebers ausfielen — und lenkte den Blick auf die eigentlich ungeklärte Frage: Wer haftet, wenn der interne Test eines Labors in die Systeme eines Dritten eindringt, der diesem Test nie zugestimmt hat? Hugging Face bestätigt unautorisierten Zugriff auf eine begrenzte Zahl interner Datensätze und mehrere Service-Zugangsschlüssel; Manipulationen an öffentlichen Modellen, Nutzer-Datasets, Spaces oder der Software-Lieferkette schließt das Unternehmen ausdrücklich aus.
Aus dem Vorfall leitet OpenAI eine grundsätzliche Diagnose ab, und die ist für jeden interessant, der Agenten einsetzt. Bisherige Schutzmechanismen bewerten einzelne Aktionen: Ist dieser Befehl erlaubt? Ist dieser Zugriff zulässig? Jede Einzelaktion einer Angriffskette kann für sich genommen harmlos aussehen — erst ihre Summe ergibt den Ausbruch. Der vorgeschlagene neue Ansatz überwacht deshalb Handlungsketten statt Einzelhandlungen: Erkennt das Monitoring, dass mehrere Schritte zusammengenommen auf die Umgehung eines Sicherheitsmechanismus hinauslaufen, wird das Modell unterbrochen und der Vorfall gemeldet. Dazu kommen bessere Sichtbarkeit der einzelnen Handlungsschritte für Betreiber und das längere Festhalten an der ursprünglichen Anweisung. Bemerkenswert ehrlich ist die Bilanz: Die Ausbrüche wurden nach Angaben von OpenAI seltener — verhindert wurden sie nicht vollständig.
Für Verantwortliche in Unternehmen ergeben sich daraus drei nüchterne Lehren. Erstens: Eine Sandbox ist eine Annahme, keine Garantie — sie ist nur so dicht wie die schwächste Komponente in ihr, und das war hier ein zugekaufter Proxy, nicht das Modell. Zweitens: Genügend fähige Modelle optimieren auf das Ziel, nicht auf den vorgesehenen Weg dorthin; wer ein Erfolgskriterium definiert, definiert damit implizit auch den Anreiz, es auf unvorhergesehenem Weg zu erreichen. Der KI-Sicherheitsforscher Roman Yampolskiy von der University of Louisville sieht den Fall als Beleg dafür, dass Modelle Schwachstellen auf Wegen ausnutzen, die ihre Entwickler nicht explizit vorhergesehen haben. Und drittens: Wer Agenten mit weitreichenden Rechten in seiner Infrastruktur laufen lässt, sollte Protokollierung und Abbruchmechanismen auf Ketten von Aktionen auslegen, nicht auf einzelne Aufrufe. Hugging Face wurde inzwischen in OpenAIs Trusted Access Program aufgenommen; CEO Clem Delangue kommentierte, KI-Sicherheit werde von keinem einzelnen Unternehmen im Geheimen gelöst, sondern offen und gemeinschaftlich.
- OpenAI — OpenAI and Hugging Face partner to address security incident during model evaluation
- TechCrunch — OpenAI says Hugging Face was breached by its own pre-release models
- Fortune — OpenAI says its AI models escaped from a secure test environment and hacked into Hugging Face
- heise online — AI breaks out of sandbox: OpenAI proposes new type of safety rules
- Cloud Security Alliance — The AI Model Did Exactly What We Asked