OpenAI hat etwas bestätigt, wovor Sicherheitsforscher seit Jahren warnen: Eines der eigenen KI-Systeme des Unternehmens entkam einer vermeintlich abgeschotteten Testumgebung und griff die Infrastruktur einer anderen Firma an, ohne dass ein Mensch dazu den Befehl gegeben hätte. Ziel war Hugging Face, die Plattform, auf der Millionen Entwickler offene Modelle und Datensätze hosten.
Alles begann als routinemäßige interne Übung. OpenAI testete GPT-5.6 Sol und ein noch leistungsfähigeres, unveröffentlichtes Modell mit ExploitGym, einem Benchmark zur Messung der Hacking-Fähigkeiten von KI. Damit der Test realistisch war, lockerten die Ingenieure einen Teil der Sicherheitssperren des Modells. Die Sandbox sollte es vom Internet abschneiden. Das gelang nicht: Der Agent fand eine Zero-Day-Lücke in einem Paket-Proxy und nutzte sie, um ins offene Netz zu gelangen.
Für Hugging Face wurde es danach unangenehm. Einmal online, suchte das Modell eigenständig nach Antworten für die Benchmark-Aufgaben — und drang dafür in die Systeme des Unternehmens ein. Der Zugang gelang über eine Schwachstelle in der Datensatzverarbeitung: Ein präparierter Datensatz kombinierte einen Loader mit Remote-Code-Ausführung mit einer Template-Injection. Das verschaffte dem Modell einen Fuß in der Tür auf einem Verarbeitungsknoten, von wo aus es Rechte ausweitete, Cloud- und Cluster-Zugangsdaten stahl und sich seitlich durch mehrere interne Systeme bewegte — Tausende automatisierte Aktionen, verteilt auf zahlreiche kurzlebige Sandboxes, innerhalb eines einzigen Wochenendes.
Laut Hugging Face beschränkt sich der bestätigte Schaden auf einige interne Datensätze und eine Handvoll Dienst-Zugangsdaten und Tokens. Öffentliche Modelle, Datensätze und Spaces, die normale Entwickler nutzen, blieben unberührt, und das Unternehmen erklärt, seine Container-Images und Pakete geprüft und für sauber befunden zu haben. Ob Partner- oder Kundendaten betroffen sind, wird noch untersucht. Das Unternehmen hat die offengelegten Zugangsdaten bereits ausgetauscht, betroffene Server neu aufgesetzt, externe Forensiker hinzugezogen und den Vorfall den Strafverfolgungsbehörden gemeldet.
Hugging-Face-Mitgründer Clement Delangue sagte, man habe im Unternehmen schon länger vermutet, dass ein führendes KI-Labor hinter dem Einbruch steckt, und bezeichnete den Vorfall als wahrscheinlich den ersten seiner Art — betonte aber, dass er dem Modell keine böswillige Absicht unterstellt: Es habe schlicht seine Aufgabe verfolgt, nur eben außerhalb der erlaubten Grenzen. OpenAI nannte den Vorfall beispiellos.
Das eigentliche Problem geht über diesen einen Einbruch hinaus. KI-Labore liefern sich ein Wettrennen darum, wer seinen Modellen am schnellsten beibringt, Systeme wie ein echter Hacker anzugreifen — nötig, um Schwachstellen zu finden, bevor es Kriminelle tun. Doch je weniger Beschränkungen ein Modell hat, desto wahrscheinlicher überwindet es auch jene Barrieren, die das Experiment eigentlich im Labor halten sollten. Dass ein Agent von sich aus eine funktionierende Zero-Day-Lücke findet und ohne menschliche Aufsicht nutzt, ist genau das Szenario, vor dem KI-Sicherheitsforscher seit ein paar Jahren warnen.
