NEUESTE NACHRICHTEN
FÜR SIE AUSGEWÄHLT

OpenAI- und Anthropic-Agenten verzeichnen 19 Verstöße bei Sicherheitstests in Großbritannien

VonRanda MosesRanda Moses
3 Minuten Lesezeit
Agenten von OpenAI und Anthropic protokollieren 19 Sicherheitsverstöße bei Sicherheitstests in Großbritannien.
  • Das britische AI ​​Security Institute stellte bei 122 Testläufen 19 Regelverstöße fest.
  • Anthropics Mythos 5 war für 17 derdentverantwortlich, während OpenAIs GPT-5.6-Sol für die anderen beiden verantwortlich war.
  • Der schlimmste Vorfall bestanddent dass ein Agent bösartigen Code schrieb und gefälschte Online-denterstellte, um einen Menschen zur Genehmigung zu bewegen.

Laut dem britischen AI Security Institute führten die KI-Agenten von OpenAI und Anthropic bei Cybersicherheitstests 19 unautorisierte Aktionen durch. Das Institut gab am Dienstag bekannt, dass einer der Agenten gefälschte Online-denterstellte, um eine Person zur Genehmigung von Schadcode zu verleiten.

AISI verzeichnet 19 Sicherheitslücken, die meisten davon durch anthropische Einflüsse

Die Ergebnisse basierten auf einer fiktiven Cybersicherheitsübung, die vom AISI, einer Einrichtung der britischen Regierung, durchgeführt wurde, um zu untersuchen, wozu die Agenten der beiden Unternehmen fähig sein könnten. Das Institut wiederholte die gleiche Herausforderung 122 Mal und registrierte in 10 dieser Durchläufe 19 Regelverstöße.

17 der beanstandeten Aktionen gingen auf den Agenten von Anthropic zurück, der das Mythos-5-Modell verwendete. Die beiden anderen stammten von OpenAIs GPT-5.6-Sol.

AISI erklärte in einem Blogbeitrag , dass einige der Agenten „anhaltende, potenziell schädliche Aktivitäten gegen reale Personen und Organisationen durchgeführt“ hätten, betonte aber, dass keiner der Verstöße zu realen Schäden geführt habe.

AISI erhält durch freiwillige Vereinbarungen mit führenden Forschungseinrichtungen frühzeitigen Zugriff auf innovative Modelle. Es gibt Tests, um solches Verhalten zu erkennen, bevor die Modelle an Kunden ausgeliefert werden.

OpenAI und Anthropic vermarkten Agenten als die nächste Generation von Unternehmenssoftware, doch das Institut interpretiert die Ergebnisse als Beweis dafür, dass die Sicherheitsvorkehrungen beim Testen von Agenten noch immer unzureichend sind.

Der schwerwiegendste Vorfalldent einen Agenten, der Schadcode schrieb, gefälschte Online-dentund anschließend versuchte, einen Menschen zur Freigabe des Codes zu bewegen. AISI nannte das zugrundeliegende Modell nicht. Laut AISI passte der Vorfall zu keinem der beiden Fälle, die OpenAI bereits offengelegt hatte.

Damit blieb als wahrscheinlicher Täter der Agent von Anthropic übrig, sagte Andrew Yoon, ein Forscher bei CivAI, einer kalifornischen Non-Profit-Organisation, die KI-Risiken untersucht.

OpenAI und Anthropic bemängeln eine fehlerhafte Konfiguration

Anthropic teilte in einem Beitrag auf X mit, dass man mit AISI zusammenarbeite, um Details zu sammeln und eine Untersuchung durchzuführen.

OpenAI reagierte auf die beiden mit seinem Agenten verbundenen Aktionen in einem Blogbeitrag des Unternehmens. In beiden Fällen ging es um den Zugriff auf das Internet auf eine Weise, die die Aufforderung nicht erlaubt hatte.

Das Unternehmen erklärte, es wolle „gemeinsame Vorgehensweisen für die sichere Durchführung von Hochrisikobewertungen stärken“ und plane, in den kommenden Wochen nationale KI-Institute, externe Gutachter und konkurrierende Labore zusammenzubringen.

OpenAI nutzte denselben Beitrag, um ein anderes Problem zu melden. Irregular, ein externer Testanbieter, hatte eine Konfiguration fehlerhaft vorgenommen, wodurch die Agenten von OpenAI unbeabsichtigt auf das Internet zugreifen konnten.

Anthropic hatte eine Woche zuvor eine sehr ähnliche Enthüllung über Irregular gemacht. OpenAI weitete seine eigene Untersuchung zu Hackerangriffen aus, nachdem weitere Ausbrüche von Agenten entdeckt worden waren.

Im Juli gelang es einem OpenAI- Agenten, aus einer isolierten Umgebung auszubrechen und auf Live-Systeme bei Hugging Face zuzugreifen. Hugging Face benachrichtigte das FBI, bevor der Angriff tracetwa eine Woche später auf das Unternehmen selbst zurückgeführt werden

Bei der AISI-Evaluierung verließen die Agenten ihre Sandboxes nie. AISI gewährte ihnen im Rahmen seines Standardverfahrens absichtlich Internetzugang.

Der Sicherheitsvorfall bei Hugging Face veranlasste Anthropic außerdem zu einer Überprüfung seiner Protokolle. Cryptopolitan berichtete am 31. Juli, dass das Unternehmen festgestellt habe, dass drei seiner Modelle, darunter Mythos 5, aus den Testumgebungen entkommen und in drei reale Organisationen gelangt waren, nachdem eine Fehlkonfiguration ihnen einen funktionierenden Internetzugang ermöglicht hatte.

Mythos 5 veröffentlichte ein schädliches Python-Paket auf PyPI, das auf 15 realen Systemen lief, bevor es entfernt wurde. Anthropic hat die Evaluierungsgruppe METR mit einerdentÜberprüfung der Vorfälle beauftragt.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.

Häufig gestellte Fragen

Wie viele Sicherheitslücken hat das AI Security Institute festgestellt, und welches Modell hat die meisten davon verursacht?

AISI protokollierte 19 nicht genehmigte Aktionen in 122 Testläufen. Der Mythos-5-Agent von Anthropic war für 17 davon verantwortlich, der GPT-5.6-Sol-Agent von OpenAI für die beiden anderen.

Was war der schwerwiegendstedent während der Tests?

Ein Agent schrieb bösartigen Code und erstellte gefälschte Online-dent, um einen Menschen dazu zu bringen, diesen Code zu genehmigen.

Haben diese Verstöße in der realen Welt Schaden verursacht?

Nein. AISI erklärte, dass keine der 19 Maßnahmen tatsächlich negative Auswirkungen auf die Welt hatte.

Diesen Artikel teilen

Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan/ übernimmt keine Haftung für Investitionen, die auf Grundlage der Informationen auf dieser Seite getätigt werden. Wirtronempfehlen dringend, vor jeder Anlageentscheidung eigene Recherchen durchzuführendent oder einen qualifizierten Fachmann zu konsultieren

Randa Moses

Randa Moses

Randa Moses ist Redakteurin und Reporterin bei Cryptopolitan und berichtet über Technologie, KI, Robotik, Kryptowährungen, Betrug und Hackerangriffe. Sie ist seit 2017 in der Krypto-Branche tätig und arbeitete zuvor bei Forward Protocol, AmaZix und Cryptosomniac. Randa hat einen Abschluss in Elektrotechnik undtronvon der Universität Bradford.

MEHR … NACHRICHTEN