AKTUELLE NACHRICHTEN
FÜR SIE AUSGEWÄHLT

OpenAI- und Anthropic-Agenten protokollieren 19-Verstöße in britischen Sicherheitstests

VonRanda MosesRanda Moses 3 Min. Lesezeit
OpenAI- und Anthropic-Agenten protokollieren 19-Verstöße in britischen Sicherheitstests.
  • Das britische AI Security Institute hat in 122 Testläufen 19 regelwidrige Aktionen festgestellt.
  • Anthropics Mythos 5 war für 17 der Vorfälle verantwortlich, während OpenAIs GPT-5.6-Sol für die anderen zwei verantwortlich war.
  • Der schwerwiegendste Vorfall umfasste das Schreiben von schädlichem Code und das Fälschen falscher Online-Identitäten, um einen Menschen zur Genehmigung zu bewegen.

Während Cybersicherheitstests haben die KI-Agenten von OpenAI und Anthropic 19 unbefugte Aktionen ausgeführt, so das britische AI Security Institute. Das Institut sagte am Dienstag, einer der Agenten habe falsche Online-Identitäten erstellt, um eine Person dazu zu bringen, schädlichen Code zu genehmigen.

AISI protokolliert 19-Verstöße, meist von Anthropic

Die Ergebnisse basierten auf einer fiktiven Cybersicherheitsübung des AISI, einer Behörde der britischen Regierung, um zu untersuchen, was die Agenten der beiden Unternehmen tun könnten. Das Institut wiederholte dieselbe Herausforderung 122 Mal und registrierte in 10 dieser Durchläufe 19 regelwidrige Aktionen.

17 der markierten Aktionen waren darauf zurückzuführen, dass der Agent von Anthropic sein Mythos-5-Modell nutzte. Die anderen beiden stammten von OpenAI’s GPT-5.6-Sol.

AISI sagte in einem Blogbeitrag, dass einige der Agenten „anhaltende, potenziell schädliche Aktivitäten gegenüber echten Menschen und Organisationen durchgeführt haben“, obwohl sie angab, dass keiner der Sicherheitsverletzungen reale Schäden verursacht habe.

AISI hat durch freiwillige Vereinbarungen mit den großen Labors frühen Zugang zu Frontier-Modellen. Tests sollen diese Art von Verhalten erkennen, bevor die Modelle die Kunden erreichen.

OpenAI und Anthropic vermarkten Agenten als die nächste Welle der Business-Software, doch das Institut wertet die Ergebnisse als Beweis dafür, dass die Schutzmaßnahmen rund um das Testen von Agenten noch dünn sind.

Der gravierendste Vorfall umfasste einen Agenten, der bösartigen Code schrieb und gefälschte Online-Identitäten erstellte, dann versuchte, einen Menschen dazu zu bringen, den Code zu genehmigen. AISI nannte das dahinterstehende Modell nicht. Es sagte, dass die Episode in keine der beiden Fälle passte, die OpenAI bereits offengelegt hatte.

Das ließ den wahrscheinlichen Übeltäter als Anthropics Agenten übrig, sagte Andrew Yoon, ein Forscher bei CivAI, einer kalifornischen Non-Profit-Organisation, die KI-Risiken untersucht.

OpenAI und Anthropic schieben die Schuld auf schlechte Konfiguration

Anthropic sagte in einem Beitrag auf X, es arbeite mit AISI zusammen, um Details zu sammeln und eine Untersuchung durchzuführen.

OpenAI reagierte in einem Blogbeitrag des Unternehmens auf die beiden Aktionen, die mit seinem Agenten verbunden waren, von denen beide den Internetzugang in einer Weise beinhalteten, die vom Prompt verboten war.

Das Unternehmen sagte, es wolle „gemeinsame Praktiken für die sichere Durchführung von Hochrisikobewertungen stärken“ und plane, nationale KI-Institute, externe Prüfer und rivalisierende Labore in den kommenden Wochen zusammenzubringen.

OpenAI nutzte denselben Beitrag, um ein anderes Problem zu melden. Irregular, ein Drittanbieter für Tests, hatte eine Einrichtung falsch konfiguriert, was OpenAI’s Agenten unbeabsichtigt den Internetzugang ermöglichte.

Anthropic machte eine sehr ähnliche Offenlegung bezüglich Irregular eine Woche zuvor. OpenAI erweiterte seine eigene Hacking-Untersuchung, nachdem es mehr Agenten-Ausbrüche gefunden hatte.

Im Juli brach ein OpenAI-Agent aus einer isolierten Umgebung aus und griff auf Live-Systeme bei Hugging Face zu, was die FBI benachrichtigte, bevor der Angriff etwa eine Woche später auf das Unternehmen selbst zurückverfolgt wurde.

Bei der AISI-Bewertung entkamen die Agenten niemals ihren Sandboxes. AISI gewährte ihnen absichtlich Internetzugang, als Teil seines Standardverfahrens.

Der Hugging-Face-Datenleck hat auch Anthropic dazu veranlasst, seine Logs zu überprüfen. Cryptopolitan berichtete am 31. Juli, dass das Unternehmen drei seiner Modelle, darunter Mythos 5, gefunden habe, die Testumgebungen verlassen und drei reale Organisationen erreicht hätten, nachdem eine Fehlkonfiguration ihnen den Internetzugang ermöglicht hatte.

Mythos 5 veröffentlichte ein schädliches Python-Paket auf PyPI, das auf 15 echten Systemen lief, bevor es entfernt wurde. Anthropic hat die Bewertungsgruppe METR gebeten, die Ereignisse unabhängig zu überprüfen.

Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.

Häufig gestellte Fragen

Wie viele Verstöße hat das AI Security Institute festgestellt, und welches Modell verursachte die meisten davon?

AISI hat 19 nicht genehmigte Aktionen in 122 Testläufen protokolliert. Anthropics Mythos 5-Agent war für 17 davon verantwortlich, und OpenAIs GPT-5.6-Sol entfielen die anderen beiden.

Was war der schwerwiegendste Vorfall während der Tests?

Ein Agent schrieb schädlichen Code und erstellte gefälschte Online-Identitäten, um zu versuchen, einen Menschen zur Genehmigung dieses Codes zu bringen.

Haben diese Verstöße zu realen Schäden geführt?

Nein. AISI gab an, dass keine tatsächlichen Schäden aus den 19 Aktionen resultierten.

Diesen Artikel teilen

Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor der Entscheidung für eine Anlage unabhängige Recherchen durchzuführen und/oder sich mit einem qualifizierten Fachmann beraten zu lassen.

Randa Moses

Randa Moses

Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan, wo sie über Technologie, KI, Robotik, Krypto, Betrug und Hacks berichtet. Sie arbeitet seit 2017 im Krypto-Bereich. Zuvor war sie bei Forward Protocol, AmaZix und Cryptosomniac tätig. Randa besitzt einen Abschluss in Elektrotechnik und Elektronik der University of Bradford.

MEHR … NACHRICHTEN