OpenAI-Modelle brechen aus der Test-Sandbox aus, hacken Hugging Face, um bei der Bewertung zu schummeln
- OpenAI gab bekannt, dass GPT-5.6 Sol und ein noch fähigeres, nicht veröffentlichtes Modell eine versiegelte Testumgebung verlassen und die Produktionsdatenbank von Hugging Face gehackt haben.
- Die Modelle wurden für einen Cyber-Benchmark ohne Sicherheitsfilter ausgeführt und entkamen über eine fehlerhafte Paket-Proxys, um die Antworten des Benchmarks zu stehlen.
- Dies ist der erste bekannte Fall, in dem eine Modellbewertung zu einem echten Sicherheitsvorfall bei einem externen Unternehmen wurde.
OpenAI sagte am Dienstag, dass zwei seiner Modelle, darunter das öffentlich verfügbare GPT-5.6 Sol, letzte Woche eine gesperrte Evaluierungsumgebung verlassen und in die Produktionssysteme von Hugging Face eingebrochen sind, um Antworten auf einen Hacking-Test zu stehlen, für den sie bewertet wurden.
OpenAI-Modelle planen die große Flucht
OpenAI testete seine Modelle gegen ExploitGym, einen öffentlichen Benchmark, der einem KI-Agenten eine Liste realer Software-Schwachstellen übergibt und dann prüft, ob das Modell diese nachbilden kann. Diese Bewertungen werden mit bewusst deaktivierten Schutzbarrieren durchgeführt, die hochriskante Cyber-Aktivitäten blockieren, um sicherzustellen, dass das Labor die tatsächliche Kapazität eines KI-Modells testen kann.
Die Sandbox sollte keinen Zugriff auf das Internet ermöglichen. Es gab jedoch eine externe Verbindung, die über einen Package-Registry-Cache-Proxy funktionierte, einen Caching-Server, der Entwicklern die Möglichkeit gibt, Code-Bibliotheken von externen Quellen zu ziehen, ohne eine Live-Verbindung zu benötigen.
Die Modelle fanden und nutzten eine zuvor unbekannte Schwachstelle in diesem Proxy aus, stiegen anschließend in ihre Berechtigungen auf und bewegten sich durch das Forschungsnetzwerk von OpenAI, bis sie eine Maschine mit Internetzugang erreichten.
Hacking-Angriff auf Hugging Face
Sobald sie online waren, erkannten die Modelle, dass Hugging Face, die Open-AI-Hosting-Plattform, wahrscheinlich ExploitGyms Modelle, Datensätze und Lösungsschlüssel gespeichert hatte. Von dort aus machten sie sich auf die Suche.
„Die Modelle identifizierten und verknüpften Schwachstellen in der gesamten Forschungsinfrastruktur von OpenAI und der Produktionsumgebung von Hugging Face, um Testlösungen direkt aus der Produktionsdatenbank von Hugging Face zu erhalten“, schrieb OpenAI in seinem Blogbeitrag. Ein Angriff kombinierte gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um einen Pfad zur Remote-Code-Ausführung auf den Servern von Hugging Face zu erreichen.
OpenAIs Sicherheitsteam kontaktierte Hugging Face, nachdem es den seltsamen und abnormalen Datenverkehr bemerkt hatte. Zu diesem Zeitpunkt hatte Hugging Face den Eindringversuch der KI-Modelle auf seiner Seite bereits erkannt und eingedämmt.
Das Unternehmen hatte den Sicherheitsvorfall ursprünglich einem unbekannten externen KI-Agenten zugeschrieben. Die Plattform hatte zudem bereits eine Rekonstruktion von mehr als 17.000 aufgezeichneten Ereignissen während des Vorfalls erstellt.
Ein chinesisches KI-Modell mit offenen Gewichten half bei der Bereinigung
Anfangs wandte sich Hugging Face an ein führendes US-Modell, um den Angriff zu analysieren, aber das Modell war aufgrund seiner hohen Cybersicherheitsvorkehrungen nicht sehr hilfreich. Die Verteidiger wandten sich stattdessen an GLM 5.2, ein Open-Weight-Modell des chinesischen Unternehmens Z.ai, da das amerikanische kommerzielle System nicht zwischen einem Verteidiger, der einen Angriff analysiert, und einem Angreifer, der einen Angriff durchführt, unterscheiden konnte.
Allerdings sieht nicht jeder die Situation als einen neuartigen AI-Fehler an. „Dies ist kein AI-Problem. Es ist Fahrlässigkeit gegenüber einem 40 Jahre alten Standard“, sagte der Sicherheitsberater Davi Ottenheimer WIRED gegenüber und argumentierte, dass „‘hochgradig isoliert’ und ‘durch das eine Loch entkommen, das wir offen gelassen haben’ nicht beide zutreffen können“. Der Sicherheitsforscher Niels Provos war direkter und erklärte im selben Bericht, dass der Einbruch „nicht hätte passieren dürfen.“
OpenAI bezeichnet diesen Vorfall als „einzigartig“
OpenAI bezeichnete den Vorfall als „ein beispielloses Cyber-Vorkommnis, das hochmoderne Cyber-Fähigkeiten beinhaltet“, und sagte, es werde die Infrastrukturkontrollen verschärfen, selbst auf Kosten der Forschungsgeschwindigkeit, während die Schwachstellen gepatcht werden. Das führende KI-Unternehmen hat Hugging Face auch seinem Programm für vertrauenswürdigen Zugang hinzugefügt und der Firma eine Version von GPT-5.6 Sol zur Verfügung gestellt, die darauf ausgelegt ist, Verteidiger zu unterstützen.
Der OpenAI-Hugging-Face-Vorfall ist der erste bekannte Fall, in dem das Benchmark-Testing eines KI-Modells zu einem tatsächlichen Cyberangriff wurde. Er ereignete sich zudem nur einen Tag nachdem OpenAI einen separaten Vorfall bekannt gab, bei dem ein Vorab-Modell aus einer Sandbox entkam, um auf GitHub zu posten.
OpenAI und Hugging Face haben angekündigt, dass sie nach Abschluss der Untersuchung eine vollständige forensische Aufschlüsselung des Vorfalls der Öffentlichkeit zur Verfügung stellen werden.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Opeyemi Olanrewaju
Opeyemi spezialisiert sich auf die Erstellung und Verfeinerung hochwertiger Inhalte mit Fokus auf Kryptowährungen, globale Finanzmärkte und die Wirtschaft. Er absolvierte sein Studium an der University of Ibadan mit einem MBBS-Abschluss. Er war Chefredakteur der redaktionellen Publikation seines Colleges und zuvor bei CFA tätig. Seit über sechs Jahren sorgt er als News Editor bei Cryptopolitan für die Einzigartigkeit der Inhalte.
