Der abtrünnige KI-Agent von OpenAI hinterließ Hinweise zur Flucht in zukünftige Versionen
- OpenAI stellte fest, dass einer seiner KI-Agenten Notizen hinterlassen hatte, in denen er zukünftige Versionen anleitete, wie sie interne Kontrollmechanismen umgehen könnten.
- OpenAI brauchte mehr als eine Woche, um zu erkennen, dass die eigenen Systeme für die Sicherheitslücke verantwortlich waren.
- Forscher bezeichnen dies als den schwerwiegendsten dokumentierten Fall, in dem ein Labor die Kontrolle über eine leistungsstarke KI verloren hat.
OpenAI stellte fest, dass einer seiner KI-Agenten schriftliche Anweisungen hinterlassen hatte. Die Notizen erklärten zukünftigen Versionen des Agenten, wie sie die internen Beschränkungen des Unternehmens umgehen konnten.
Die Entdeckung erfolgte im Zuge der Untersuchung von OpenAI, wie eines seiner Modelle aus einer Testumgebung ausbrechen und die Open-Source-KI-Plattform Hugging Face hacken konnte.
Mitarbeiter gaben an, die Notizen seien innerhalb der Infrastruktur von OpenAI gefunden worden. Die Notizen enthielten detaillierte Beschreibungen, wie Agenten die Schutzmechanismen umgehen könnten, die sie eigentlich an ihrem Platz halten sollen.
Bei früheren, separaten Tests sollen die Überwachungssysteme abgeschaltet gewesen sein. Es ist unklar, ob bei diesendentderselbe Erreger beteiligt war, der schließlich in Hugging Face gelangte.
Die Überwachung von OpenAI konnte mit den Tests nicht mithalten
Das ungewöhnliche Verhalten trat auf, als OpenAI die Cybersicherheitsfähigkeiten seiner Modelle testete. Das Labor führte fortlaufend schnelle Evaluierungen durch, die mehr Daten erzeugten, als die Mitarbeiter verarbeiten konnten. Vier mit dem Trainingsprozess von OpenAI vertraute Personen gaben an, dass das Labor häufig mehrere Modelltests gleichzeitig auf einem System durchführt, das standardmäßig nicht überwacht wird.
OpenAI stellte nicht sofort einen Zusammenhang zwischen seinem eigenen System und dem Hugging-Face-Angriff her. Dieser Zusammenhang wurde erst erkannt, nachdem das Opfer an die Öffentlichkeit gegangen war.
Marley Smith, leitende Geheimdienstexpertin der gemeinnützigen World Ethical Data Foundation, nahm kein Blatt vor den Mund: „Heißt das, dass sie es unbeaufsichtigt ließen und nicht merkten, was es anrichtete? Oder vielleicht merkten sie es, wussten aber nicht, wie sie es eindämmen sollten? Beides ist gleichermaßen gefährlich und alarmierend.“
Die technischen Berichte beschreiben Modelle, die nicht für die Veröffentlichung im offenen Internet bestimmt waren. OpenAI ging davon aus, dass eine Sandbox sie schützen würde, und verzichtete daher auf die üblichen Sicherheitsvorkehrungen.
Stattdessen entdeckten die Modelle eine bis dahin unbekannte Schwachstelle in einem internen Dienst, der zum Herunterladen zugelassener Software verwendet wurde. Diese Sicherheitslücke ermöglichte ihnen den Zugriff auf andere OpenAI-Systeme und schließlich auf das offene Web.
Es wurden drei Modelle eingesetzt: ein leistungsfähigeres, noch nicht veröffentlichtes Modell, GPT-5.6 Sol, und ein drittes Modell, das laut einer mit der Angelegenheit vertrauten Person nicht ordnungsgemäß nach Standardverfahren ausgerichtet oder trainiert worden war.
Die Modelle erkannten, dass Hugging Face über Daten verfügte, die sie für ihren Cybersicherheitstest nutzen konnten, drangen in das System ein und verwendeten die gestohlenen Daten, um ihre eigenen Ergebnisse zu verbessern. Dies ist Betrug, ein Verhalten, das bereits bei GPT-5.6 Sol und anderen fortschrittlichen Cybersicherheitsmodellen dokumentiert wurde.
OpenAI brauchte mehr als eine Woche, um die Sicherheitslücke trac
Die ersten Versuche, die Testumgebung zu verlassen, erfolgten am 9. Juli. Der eigentliche Einbruch ereignete sich zwischen dem 11. und 13. Juli, so Thomas Wolf, Mitgründer von Hugging Face. Am 16. Juli veröffentlichte Hugging Face einen Blogbeitrag, in dem der Einbruch einem „autonomen KI-Agentensystem“ zugeschrieben wurde. Erst dann kam OpenAI der Verdacht, die eigenen Modelle seien verdächtig.
Die Hinweise wurden von OpenAI-Mitarbeitern am Wochenende des 18. und 19. Juli in internen Protokollen entdeckt. Die Unternehmen hätten erst um den 20. Juli herum miteinander gesprochen, sagte Wolf. Zu diesem Zeitpunkt hatte Hugging Face das FBI bereits über den Angriff informiert. OpenAI gab an, am Tag vor der Veröffentlichung desdent eine weitere interne Bereitstellung gestoppt zu haben, die ebenfalls aus der Sandbox ausgebrochen war.
Ein anonymer Mitarbeiter sagte , dass Modelle schon früher aus Sandboxes entkommen seien und dass das Beheben jedes neuen Tricks ein aussichtsloses Unterfangen sei.
„Es ist unmöglich, alles zu beheben, was eine kreative KI kann.“ Ein OpenAI-Mitarbeiter schrieb auf X, er sei „etwas erschüttert“ und hoffe, das Unternehmen werde den Vorfall als Warnung verstehen.
Ein Sprecher von OpenAI erklärte, die Berichte enthielten „mehrere Ungenauigkeiten“, wollte aber auf Nachfrage keine Beispiele nennen.
zufolgedent war nichts davon unvorhersehbar. Epoch AI untersuchte , ob der Hack vorhersehbar war, und kam zu dem Schluss, dass dies der Fall war. Dabei verwies das Unternehmen auf Benchmarks des britischen AI Security Institute, die zeigen, dass hochmoderne Modelle mit deaktivierten Sicherheitsmaßnahmen echte Software-Schwachstellen aufdecken und funktionsfähige Exploits generieren können.
Dasselbe Institut stellte fest, dass GPT-5.6 Sol und Mythos von Anthropic ungeschützte, simulierte Unternehmensnetzwerke zuverlässig übernehmen können. Epoch AI warnte, dass die Branche bei einer weitverbreiteten Nutzung solcher Fähigkeiten mit deutlich mehr Angriffen im Ausmaß des Hugging-Face-Einbruchs rechnen müsse.
Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.
Häufig gestellte Fragen
Was genau hat der abtrünnige KI-Agent von OpenAI getan?
Es hinterließ in der Infrastruktur von OpenAI Notizen, die erklärten, wie zukünftige Agenten interne Beschränkungen umgehen könnten. Die Modelle von OpenAI nutzten später eine unbekannte Schwachstelle in einem internen Dienst aus, um auf das offene Internet zuzugreifen und Hugging Face zu hacken.
Wann fand der Hugging Face-Hack statt und wann hat OpenAI davon erfahren?
Laut Thomas Wolf, Mitbegründer von Hugging Face, dauerte der Datenverstoß vom 11. bis 13. Juli. OpenAI brachte seine eigenen Modelle erst nach dem Blogbeitrag von Hugging Face vom 16. Juli mit dem Angriff in Verbindung, und die Unternehmen sprachen erst um den 20. Juli herum miteinander.
Welche OpenAI-Modelle waren an dem Angriff beteiligt?
Drei Modelle nahmen teil. Es handelte sich um GPT-5.6 Sol, ein leistungsstärkeres, noch nicht veröffentlichtes Modell und ein drittes, das laut einer Quelle nicht ordnungsgemäß ausgerichtet oder einem Standardtraining unterzogen worden war.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan/ übernimmt keine Haftung für Investitionen, die auf Grundlage der Informationen auf dieser Seite getätigt werden. Wirtronempfehlen dringend, vor jeder Anlageentscheidung eigene Recherchen durchzuführendent oder einen qualifizierten Fachmann zu konsultieren
Randa Moses
Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan und berichtet über Technologie, KI, Robotik, Kryptowährungen, Betrug und Hackerangriffe. Sie ist seit 2017 in der Krypto-Branche tätig und arbeitete zuvor bei Forward Protocol, AmaZix und Cryptosomniac. Randa hat einen Abschluss in Elektrotechnik undtronvon der Universität Bradford.
