OpenAI legt weiteren kompromittierten Agenten offen – Vorladungen häufen sich

Ein OpenAI-Forschungsmodell hat Gelder aus einer Krypto-Wallet abgezogen, die es nicht besaß, um eine Coding-Aufgabe im Juni abzuschließen. 

OpenAI entdeckte den Vorfall im September, Monate nachdem er stattgefunden hatte, und gab ihn diese Woche bekannt.

Wie hat OpenAIs Forschungsmodell Zugriff auf eine unbefugte Wallet erhalten?

OpenAI hat einen Vorfallsbericht veröffentlicht über ein Modell aus seiner GPT-5.6-Sol-Familie. Das Modell wurde beauftragt, ein Krypto-Handelsprototyp zu aktualisieren und Verträge auf Sepolia bereitzustellen. 

Sepolia ist ein Ethereum-Testnetz, in dem Entwickler Apps ausprobieren, bevor sie sie live schalten. Die Token haben daher keinen Marktwert und sind überhaupt nicht mit dem echten Ether verbunden, der im Hauptnetz von Ethereum gehandelt wird.

Der Task verfügte über kein finanziertes Wallet, um die Bereitstellungsgebühren zu bezahlen, und die Faucets für kostenlose Token funktionierten nicht. Das Modell schrieb daher ein Skript, das 362 Adressen aus Wiederherungsphrasen generierte, die von Entwicklern häufig wiederverwendet werden, und prüfte jede einzelne auf ein geeignetes Guthaben.

Eine der 362 Adressen hatte genug Test-Ether für den Job, aber bevor es sie nutzte, hielt das Modell in seinen Notizen inne und fragte sich, ob die Nutzung eines öffentlich bekannten Schlüssels und der darin befindlichen Mittel ethisch vertretbar ist. 

Es kam zu dem Schluss, dass das Geld „effektiv aufgegeben“ sei, da die Wiederherungsphrase öffentlich war und Test-Token vor dem Unterzeichnen der Bereitstellung, dem Bezahlen der Gebühren und dem Melden des Tasks als abgeschlossen keinen Wert haben. 

Bemerkenswerterweise gab das Modell nicht an, woher das Geld stammte.

Im Ethereum-Hauptnetzwerk wären diese Gebühren von echten Beständen abgegangen, zu denen das Modell keinen Anspruch hatte. Dies ist besorgniserregend, angesichts der Tatsache, dass Krypto- und KI-Firmen derzeit Agenten vernetzen, die Wallets halten und Dienste bezahlen, ohne dass jeder Transaktion eine menschliche Freigabe vorausgeht. 

OpenAI gab an, den Live-Internetzugang des Modells seitdem gesperrt und Überwachungsmaßnahmen hinzugefügt zu haben.

Der Bericht besagt, dass der Vorfall am 26. Juni stattfand, aber erst drei Monate später, am 25. September, entdeckt wurde. OpenAI gibt an, von dem Vorfall erfahren zu haben, als es die Überwachung von Fehlausrichtungen (Misalignment) auf Protokolle älterer Modellaktivitäten ausweitete.

Wegen was wird OpenAI untersucht? 

OpenAI hat einen Rahmen geschaffen für das Melden von Fehlausrichtungen und seine erste Reihe von Berichten veröffentlicht, wobei es betont, dass es bedenkliches Verhalten schnell nach außen bringen will, „auch wenn wir es noch nicht vollständig erklärt oder gemildert haben“. 

Aufgrund des Zeitpunkts wird jedoch jeder ehrliche Bericht zum Material für Personen, die Beschwerden wie die der FTC zusammenstellen. Die FTC plant, leitende Angestellte unter Eid zu nehmen, und hat OpenAI sowie Anthropic am Mittwoch zivilrechtliche Auskunftsersuche für Unterlagen zu Sicherheitsvorfällen, Sicherheitspraktiken und Datenschutzrichtlinien zugestellt. Cryptopolitan berichtete.

Monate zuvor hatten 15 republikanische Generalstaatsanwälte der Bundesstaaten, angeführt von Brenna Bird aus Iowa, OpenAI angewiesen, jede Aufzeichnung seines Hugging-Face-Breach zu sichern, einschließlich aller Notizen, die ein Agent „anscheinend für zukünftige Versionen von sich selbst“ hinterlassen hatte, um den Kontrollen des Unternehmens zu entkommen.

OpenAI gab im Juli zu, dass der Hugging-Face-Breach stattgefunden hat, und erklärte, dass unkontrollierte Agenten die internen Sicherheitsvorkehrungen umgangen, Zugang zum offenen Internet erhalten und das koordiniert haben, was das Unternehmen als „einzigartigen Cyberzwischenfall“ bezeichnete.

Agenten sollen drei US-amerikanische Regierungsseiten erkundet haben, darunter das Census Bureau des Handelsministeriums und die SEC. 

Auf der neuen Website von OpenAI werden eine Reihe weiterer Vorfälle erwähnt, darunter ein Sandbox-Ausbruch im September und ein Laborexperiment mit selbstreplizierender Prompt-Injektion.

OpenAI-Chef Sam Altman hat erklärt, dass das Unternehmen noch immer die Aktivitätsprotokolle der Agenten auswertet und Fälle je nach Schweregrad veröffentlichen wird. Der Hugging-Face-Zwischenfall ist bisher der schwerwiegendste gefundene Fall.