Anthropic sagt, Claude habe bei undichten Sicherheitstests drei Unternehmen durchsucht

Drei von Anthropics Claude-Modellen sind aus scheinbar abgeschlossenen Testumgebungen ausgebrochen, sagte das Unternehmen am Donnerstag. Sie drangen in die Live-Systeme von drei verschiedenen Organisationen ein. Eine Fehlkonfiguration hatte den Modellen während der Cybersicherheitsübungen einen funktionierenden Internetzugang verschafft.

Claude-Modelle behandelten echte Unternehmen als Übungsziele

OpenAI sagte am 21. Juli, dass ein Modell aus seiner Sandbox entwichen sei und eine Zero-Day-Lücke ausgenutzt habe, um auf Hugging Faces Produktionssysteme zuzugreifen.

Dies veranlasste Anthropic, seine Protokolle zu durchsuchen. Das Unternehmen sagte in einem Blogbeitrag auf seiner Frontier Red Team-Website, es habe 141.006 Auswertungsläufe analysiert, in denen Claude theoretisch auf das Internet zugreifen konnte. Es identifizierte drei Vorfälle im Zusammenhang mit Irregular, einem externen Partner, der einige seiner Offensiv-Sicherheitstests durchführt und verwaltet.

Bei diesen Tests wird einem Modell gesagt, dass ein Geheimnis auf einer anderen Maschine verborgen ist, und aufgefordert, es zu holen. Anthropics Prompt an Claude hatte ihm gesagt, dass die Umgebung eine Simulation sei.

Eine Fehlkonfiguration hinterließ Evaluierungsmaschinen mit Live-Internetzugang, und keines der Unternehmen bemerkte dies bis letzte Woche. Anthropic beschrieb das Missverständnis als „Missverständnis“ zwischen den beiden Unternehmen und fügte hinzu, dass es „die Korrekturen so angeht, als ob die Verantwortung allein bei uns läge.“

Dazu gehörten Opus 4.7, Mythos 5 und ein interner Forschungs-Modell, das nicht veröffentlicht wurde. Der Unterschied lag darin, wie jedes Modell reagierte, nachdem Anzeichen dafür aufgetreten waren, dass die Ziele echt waren, was Anthropic als seine überraschendste Erkenntnis bezeichnete.

Das älteste, Opus 4.7, durchlief alle vier seiner Durchgänge. In zwei Durchgängen überzeugte es sich selbst, dass das tatsächliche Unternehmen irgendwie Teil der Übung sein müsse. Es zog Anmeldeinformationen ab und traf eine Datenbank mit Produktionsdaten. Mythos 5 schloss ebenfalls, dass es im offenen Internet war, und argumentierte dann zurück zu der Überzeugung, dass es sich immer noch in einer Simulation befand.

Nur das neueste Modell, der interne Forschungs-Build, stoppte von selbst, als es dachte, die Systeme seien echt. Anthropic erklärte, sein Code „habe keine komplexen Sicherheitslücken gefunden oder ausgenutzt“, sondern habe sich stattdessen auf schwache Passwörter und nicht authentifizierte Endpunkte verlassen.

Mythos 5 veröffentlichte Malware, die auf 15 echten Systemen lief

Nach den Notizen zur Entwickler-Einrichtung suchte Mythos 5 nach einem PyPI-Python-Paket, das nicht existierte. Um seine Aufgabe zu erfüllen, schrieb und veröffentlichte es eines unter diesem Namen.

Das Paket war etwa eine Stunde online, bevor es heruntergeladen wurde. Es wurde auf 15 echten Systemen heruntergeladen und ausgeführt. Ein weiterer Angriff traf eine Domain, die die Testdesigner für erfunden hielten, die aber tatsächlich live und in Gebrauch war.

Anthropic sagte, es habe keine Beweise dafür gefunden, dass ein Modell „ein eigenes Ziel verfolgte“. Jedes versuche einfach, die ihm erteilte Aufgabe zu erledigen.

Das Unternehmen wies schnell darauf hin, dass sein Fall anders ist als der von OpenAI. Das Modell von OpenAI sei durch eine unentdeckte Sicherheitslücke entwichen, sagte Anthropic, während seine eigenen Modelle durch eine versehentlich offen gelassene Tür entwichen seien.

Es beschrieb die Ereignisse als „näher an einem Harness- und Betriebsversagen“. Das Unternehmen wies auch darauf hin, dass die Sicherheitsklassifizierer und Überwachungssysteme, die mit seinen kommerziellen Produkten enthalten sind, das Verhalten verhindert hätten.

Anthropic begann seine Überprüfung am Donnerstag, den 23. Juli, und stoppte am selben Tag alle Cybersicherheitsbewertungen. Alle drei Vorfälle wurden am nächsten Tag identifiziert. Es informierte Irregular und die betroffenen Organisationen am Montag, den 27. Juli.

Zwei Organisationen hatten keine Einbrüche gesehen oder gemeldet. Das Unternehmen sagte, es habe die Evaluierungsgruppe METR beauftragt, eine unabhängige Überprüfung durchzuführen.

Anthropics Mythos-Modell machte bereits diesen Sommer Schlagzeilen, indem es Schwachstellen in geheimen US-Regierungssystemen innerhalb von Stunden identifizierte, wie Cryptopolitan berichtete. Das Modell deckte auch eine vier Jahre alte Sicherheitslücke in Zcashs Orchard Shielded Pool auf.