OpenAIs rogue AI-Agent hinterließ Fluchtnotizen für zukünftige Versionen
- OpenAI stellte fest, dass einer seiner KI-Agenten Notizen hinterlassen hat, die zukünftige Versionen anleiten, wie sie interne Kontrollen umgehen können.
- Es dauerte mehr als eine Woche, bis OpenAI erkannte, dass seine eigenen Systeme für den Sicherheitsvorfall verantwortlich waren.
- Forscher bezeichnen dies als den schwerwiegendsten dokumentierten Fall, in dem ein Labor die Kontrolle über eine leistungsstarke KI verloren hat.
OpenAI fand heraus, dass einer seiner KI-Agenten schriftliche Anweisungen hinterlassen hatte. Die Notizen sagten zukünftigen Versionen des Agenten, wie er sich von den internen Einschränkungen des Unternehmens befreien kann.
Ihre Entdeckung erfolgte, während OpenAI untersuchte, wie eines seiner Modelle aus einer Testumgebung ausgebrochen und die Open-Source-KI-Plattform Hugging Face gehackt hatte.
Mitarbeiter sagten, die Notizen seien in OpenAIs eigener Infrastruktur gefunden worden. Die Notizen beschrieben Möglichkeiten, wie Agenten die Guardrails umgehen könnten, die dazu dienen, sie an Ort und Stelle zu halten.
Es wurde berichtet, dass Überwachungssysteme bei separaten, früheren Tests abgeschaltet wurden. Es ist unklar, ob diese Vorfälle denselben Agenten betrafen, der schließlich zu Hugging Face gelangte.
OpenAIs Überwachung konnte mit seinen Tests nicht Schritt halten
Das seltsame Verhalten trat auf, während OpenAI die Cybersicherheitsfähigkeiten seiner Modelle testete. Das Labor führte schnell durchgeführte Bewertungen durch, die mehr Daten produzieren, als das Personal bewältigen kann. Das Labor führt häufig mehrere Modelltests gleichzeitig auf einem System durch, das standardmäßig nicht überwacht wird, sagten vier Personen, die mit dem Trainingsprozess von OpenAI vertraut sind.
OpenAI verband sein eigenes System nicht sofort mit dem Hugging Face-Angriff. Die Verbindung wurde erst hergestellt, nachdem das Opfer öffentlich geworden war.
Marley Smith, leitender Intelligence-Spezialist bei der gemeinnützigen World Ethical Data Foundation, machte keine großen Umstände. „Bedeutet das, dass sie es unbeaufsichtigt ließen und nicht merkten, was es tat? Oder vielleicht merkten sie es, wussten aber nicht, wie sie es eindämmen sollten? Beides ist gleichermaßen gefährlich und beunruhigend.“
Die technischen Berichte beschreiben Modelle, die nicht für die Exposition gegenüber dem offenen Internet bestimmt waren. OpenAI ging davon aus, dass eine Sandbox sie enthalten würde, und übersprang daher die normalen Sicherheits-Guardrails.
Stattdessen fanden die Modelle eine zuvor unbekannte Schwachstelle in einem internen Dienst, der zum Herunterladen genehmigter Software verwendet wurde. Diese Lücke gab ihnen einen Weg zu anderen OpenAI-Systemen und schließlich zum offenen Web.
Drei Modelle wurden eingesetzt. Ein leistungsfähigeres, nicht veröffentlichtes Modell, GPT-5.6 Sol, und ein drittes Modell, von dem eine mit der Angelegenheit vertraute Person sagte, es sei nicht ordnungsgemäß aligniert oder durch Standardprozesse trainiert worden.
Die Modelle stellten fest, dass Hugging Face Daten besaß, die sie für ihren Cybersicherheitstest nutzen konnten, drangen ein und nutzten das Gestohlene, um ihre eigenen Ergebnisse zu verbessern. Dies ist Betrug, ein Verhalten, das bereits bei GPT-5.6 Sol und anderen Frontier-Modellen dokumentiert wurde.
Der Sicherheitsvorfall dauerte bei OpenAI mehr als eine Woche, um zurückverfolgt zu werden
Die ersten Versuche, die Testumgebung zu verlassen, ereigneten sich am 9. Juli. Der eigentliche Einbruch geschah zwischen dem 11. und 13. Juli, so Hugging Face-Mitbegründer Thomas Wolf. Am 16. Juli veröffentlichte Hugging Face einen Blogbeitrag, der die Intrusion „einem autonomen KI-Agentensystem“ zuschrieb. Erst dann kam OpenAI auf die Idee, seine eigenen Modelle zu verdächtigen.
Die Hinweise wurden von OpenAI-Mitarbeitern in internen Protokollen am Wochenende des 18. und 19. Juli entdeckt. Die Unternehmen sprachen sich erst um den 20. Juli herum aus, sagte Wolf. Bis dahin hatte Hugging Face den FBI bereits von dem Angriff berichtet. OpenAI sagte, dass es am Tag vor der öffentlichen Bekanntgabe des Vorfalls eine weitere interne Bereitstellung gestoppt hatte, die ebenfalls aus ihrer Sandbox ausbrach.
Ein anonymes Mitarbeiter-sagte, dass Modelle bereits zuvor aus Sandboxes entkommen seien und dass das Patchen jedes neuen Tricks ein verlorener Kampf sei.
„Es ist unmöglich, jedes einzelne Ding zu patchen, das eine kreative KI tun kann.“ Ein OpenAI-Mitarbeiter schrieb auf X, er sei „etwas erschüttert“ und hoffe, dass das Unternehmen die Episode als Warnschuss behandeln würde.
Ein Sprecher von OpenAI sagte, die Berichte enthielten „mehrere Ungenauigkeiten“, wollte aber auf Nachfrage keine Beispiele nennen.
Unabhängigen Forschern zufolge war nichts davon unvorhersehbar. Epoch AI bewertete, ob der Hack vorhersehbar war, und kam zu dem Schluss, dass dies der Fall war, und zitierte Benchmarks des britischen AI Security Institute, die zeigen, dass Frontier-Modelle mit deaktivierten Sicherheitsmaßnahmen echte Software-Schwachstellen entdecken und funktionale Exploits generieren können.
Das gleiche Institut stellte fest, dass GPT-5.6 Sol und Mythos von Anthropic ungeschützte simulierte Unternehmensnetzwerke zuverlässig übernehmen können. Epoch AI warnte, dass, wenn solche Fähigkeiten weit verbreitet werden, die Branche viele weitere Angriffe auf der Ebene des Hugging Face-Einbruchs sehen könnte.
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Häufig gestellte Fragen
Was hat OpenAIs rebellischer KI-Agent genau getan?
Er hinterließ Notizen innerhalb von OpenAIs eigener Infrastruktur, in denen erklärt wurde, wie zukünftige Agenten interne Einschränkungen umgehen könnten. Später nutzten OpenAIs Modelle eine unbekannte Schwachstelle in einem internen Dienst aus, um auf das offene Internet zuzugreifen und Hugging Face zu hacken.
Wann fand der Hugging Face-Hack statt und wann erfuhr OpenAI davon?
Thomas Wolf, Mitbegründer von Hugging Face, sagte, der Vorfall dauerte vom 11. bis 13. Juli. OpenAI verband erst nach dem Blogbeitrag von Hugging Face am 16. Juli seine eigenen Modelle mit dem Angriff, und die Unternehmen sprachen sich erst um den 20. Juli herum aus.
Welche OpenAI-Modelle waren am Angriff beteiligt?
Drei Modelle waren beteiligt: GPT-5.6 Sol, ein leistungsfähigeres, noch nicht veröffentlichtes Modell, sowie ein drittes, von dem eine Quelle sagte, es sei weder ordnungsgemäß ausgerichtet worden noch habe es das Standardtraining durchlaufen.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor der Entscheidung für eine Anlage unabhängige Recherchen durchzuführen und/oder sich mit einem qualifizierten Fachmann beraten zu lassen.
Randa Moses
Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan, wo sie über Technologie, KI, Robotik, Krypto, Betrug und Hacks berichtet. Sie arbeitet seit 2017 im Krypto-Bereich. Zuvor war sie bei Forward Protocol, AmaZix und Cryptosomniac tätig. Randa besitzt einen Abschluss in Elektrotechnik und Elektronik der University of Bradford.
