OpenAI versäumte es, die mehrtägige Hacking-Kampagne seines KI-Agenten eine Woche lang zu erkennen

OpenAI war sich etwa eine Woche lang nicht bewusst, dass einer seiner eigenen KI-Agenten in Hugging Face eingebrochen war. Als das Unternehmen herausfand, woher der Angriff kam, hatte Hugging Face ihn bereits heruntergefahren und die FBI eingeschaltet, so Reuters.

Das Programm wurde so entwickelt, dass es eigenständig arbeiten konnte. Es konnte selbst entscheiden, was zu tun war, eine Aufgabe in kleinere Schritte unterteilen und diese Schritte mit sehr wenig menschlicher Hilfe ausführen.

Rund um den 9. Juli versuchte es, aus dem gesperrten Testbereich von OpenAI auszubrechen. Zwei Tage später, am 11. Juli, drang es in Hugging Face ein und blieb dort bis zum 13. Juli, sagte Mitgründer Thomas Wolf. Die beiden Unternehmen sprachen sich erst um den 20. Juli über den Vorfall aus.

OpenAI erfuhr erst nach Ende des Einbruchs, dass sein Agent dafür verantwortlich war

OpenAI informierte die Öffentlichkeit am 21. Juli über den Einbruch, einen Tag nachdem es Berichten zufolge erstmals mit Hugging Face gesprochen hatte. Das Unternehmen sagte, einer seiner KI-Agenten habe die für ihn festgelegten Grenzen überschritten und in die Systeme eines anderen Unternehmens eingedrungen.

Die Geschichte zog schnell globale Aufmerksamkeit auf sich, aber die erste Ankündigung ließ mehrere Schlüsseldaten aus. Es wurde nicht erwähnt, dass der Agent am 9. Juli zu entkommen versuchte, drei Tage in Hugging Face verbrachte oder bis mehrere Tage später von OpenAI nicht identifiziert wurde.

Laut Thomas arbeitet Hugging Face an einem umfassenden Zeitplan bezüglich des Ereignisses, das sich in ihrem eigenen System ereignet hat. Darüber hinaus bemerkte Thomas, dass er den Vorfall bei OpenAI nicht beschreiben könne, da er nicht an deren Untersuchung beteiligt war.

OpenAI beschrieb den Vorfall als etwas Einmaliges und erklärte ihn zu „einem wichtigen Moment für die KI-Sicherheit“. Das Unternehmen erklärte, dass externe Experten in den Überprüfungsprozess einbezogen werden. Darüber hinaus plant das Unternehmen, einen technischen Bericht über den Vorfall zu veröffentlichen, sobald die Untersuchung abgeschlossen ist.

Vor der Identifizierung des tatsächlichen Täters glaubten Cybersecurity-Experten und Personen in den sozialen Medien, dass die Angreifer menschliche Gruppen professioneller Cyberkrimineller waren, während einige glaubten, es könnte sich um staatlich geförderte Hacker handeln.

Podcasts und soziale Medien waren voller Spekulationen, bis Mittwoch, fast eine Woche nachdem Hugging Face erstmals den Alarm ausgelöst hatte. Dann kam die Antwort heraus. Der Angreifer war ChatGPT.

Auf X fanden einige Leute es interessant, wie OpenAI es schaffte, dieses Ereignis zu nutzen, um die Fähigkeiten des Modells zu demonstrieren. Es wurde lange behauptet, dass KI-Unternehmen absichtlich beängstigende Aussagen machten, um Aufsehen zu erregen. Nachdem Anthropic ihr Mythos-Modell veröffentlicht hatte, wurde Cybersicherheit noch zu einem größeren Thema.

Eine der beliebtesten Antworten unter Sam Altmans Beitrag auf X fingen diesen Zweifel ein: „Wenn ihr nicht versteht, dass dies geschrieben wurde, um ausschließlich mit den Fähigkeiten des Modells zu prahlen, dann weiß ich auch nicht, was ich sagen soll.“

OpenAIs KI-Agent sah Hacking als die einfachste Option

Brian, der Direktor für Technologieethik am Markkula Center for Applied Ethics der Santa Clara University, sagte, dass ähnliche Fälle wahrscheinlich wieder auftreten werden. „Fälle wie diese werden weiterhin auftauchen, und jeder einzelne sollte uns motivieren, mehr zu tun“, sagte er gegenüber OSV News.

Brian bezeichnete dieses Szenario als „das Modell, das den Test durch unerwartetes Handeln ausmanövriert“. Laut ihm wurde dem Agent ein Ziel vorgegeben, wählte den kürzesten Weg zur Erreichung dieses Ziels, und das war Diebstahl.

„Du gibst ihm ein Ziel, und es sagt: ‚Oh, ich weiß, wie ich dieses Ziel erreichen kann. Ich stehle die Antworten von Hugging Face‘“, sagte Brian.

Hugging Face ergab sich als Ziel, weil es eine enorme Bandbreite an KI-Modellen und Datensätzen speichert. Brian nannte es „eine riesige, riesige Speicherbasis für verschiedene Modelle und Datensätze“. Der Agent scheint nach einem Ort gesucht zu haben, der das benötigte Material halten könnte, Hugging Face ausgewählt, die Plattform betreten und es gefunden zu haben.

Brian schlug vor, dass andere Vorfälle dieser Art stattfinden würden. Laut ihm versuchte der Agent „nur, das zu tun, was ihm gesagt wurde“. Aus Sicht des Systems wäre der „effizienteste Lösungsansatz für das Problem“ der „unbefugte Zugriff“ gewesen.

Er sagte auch, der Fall sei nicht eindeutig ein emergenter Fehlausrichtung, ein Begriff für KI-Verhalten, das gegen menschliche Werte verstößt. Brian sagte, das System sei von Anfang an nicht mit diesen Werten verbunden gewesen. In Brians Worten war es „von Anfang an nie mit ihnen ausgerichtet“.