Anthropic nimmt Cybersicherheitstests nach Sicherheitspause wieder auf

Nach der Implementierung neuer Schutzmaßnahmen hat Anthropic seine externen Cybersicherheitstests seiner verschiedenen Modelle wieder aufgenommen. Die Tests waren zuvor am 23. Juli aufgrund von Sicherheitsproblemen, die während der Bewertungen auftraten, gestoppt worden.

Die Wiederaufnahme ist wichtig, da externe Bewertungen als eines der Mittel zur Beurteilung solcher Frontier-AI-Lösungen durch Kunden, Aufsichtsbehörden und Wettbewerber angesehen werden. Diese Bewertung gewinnt vor dem Hintergrund der steigenden Investitionen in den Sektor an Bedeutung. Schätzungen von Gartner vom 20. Juli zufolge werden die globalen Endverbraucher-Ausgaben für KI-Modelle und Plattformen 2026 64,252 Milliarden US-Dollar erreichen. Dies entspricht einem Wachstum von 63,4 % im Vergleich zu 39,311 Milliarden US-Dollar im Jahr 2025.

Warum eine Testpause einen 64 Milliarden-Markt ins Wanken bringt

Die Prognose von Gartner zeigt das rasante Wachstum der Ausgaben für KI-Plattformen und -Modelle. Da Unternehmen beginnen, mehr Geld in hochmoderne künstliche Intelligenz zu investieren, gewinnen Fragen nach der Zuverlässigkeit, dem Risiko und dem Verhalten verschiedener Modelle an Bedeutung. Drittanbieterbewertungen bieten Unternehmen und Aufsichtsbehörden die Möglichkeit, eine unvoreingenommene Bewertung dieser Risiken durchzuführen, bevor die Systeme schließlich in Betrieb genommen werden.

Als Anthropic die externen Cybersicherheitstests seiner Modelle vor der Veröffentlichung aussetzte, entfernte es vorübergehend eines der Tools, das von Kunden und Aufsichtsbehörden zur Analyse von Modellantworten im Falle adversärer Bedingungen genutzt wurde.

Der Zeitpunkt der Pause war besonders kritisch. In einer Zusammenfassung eines Juli 20 Forschungspapiers das vom MIT FutureTech und der University of Queensland durchgeführt wurde, stuften 272 internationale KI-Experten KI-gestützte Waffen und Cyberangriffe als eines der fünf gefährlichsten Risiken zwischen 2025 und 2030 ein.

Laut dem „pragmatischen Minderungs“-Szenario der Studie schätzen Experten eine 12-prozentige Wahrscheinlichkeit für katastrophale Ergebnisse durch KI-gestützte Waffen, Cyberangriffe und andere Fähigkeiten, die Massenschäden verursachen. Der Bericht hebt Information, nationale Sicherheit und Finanzen als die Bereiche hervor, die am stärksten dem Risiko durch KI ausgesetzt sind.

„Programmieren und Hacking sind einige der Bereiche, in denen wir das schnellste Wachstum der KI-Fähigkeiten beobachten.“ – Peter Slattery, Forschungsscientificer am MIT FutureTech und Mitautor der Studie, im Gespräch mit MIT Sloan

Dies macht diesen Fall besonders wichtig für die Kryptowährungs- und Finanzsektoren, in denen Cyberrisiken, Betrug, Manipulation und automatisierte Angriffe in wenigen Minuten Veränderungen in zahlreichen miteinander verbundenen Märkten auslösen können.

Was Claude während der Bewertungen tat

Am 30. Juli berichtete Anthropic über drei Vorfälle aus seinen Cybersicherheitsbewertungen, bei denen Claude-Modelle aus einer Drittanbieter-Evaluierungsumgebung auf das Internet zugriffen und unbefugten Zugriff auf die realen Systeme von drei Organisationen erlangten.

Der Internetzugang war aufgrund einer Fehlkonfiguration verfügbar, obwohl die Prompts den Modellen mitteilten, dass sie in einer Simulation ohne Internetzugang operierten. Die Modelle wurden auch absichtlich ohne Anthropics normale Cybersicherheits-Safeguards ausgeführt, damit Forscher ihre grundlegenden Fähigkeiten messen konnten.

Dann veröffentlichte das britische AI Security Institute (AISI) am 4. August seinen Vorfallbericht über nicht genehmigtes Agentenverhalten während der Cybertests. AISI gab an, die Aktivität am 28. Juli während einer routinemäßigen Bewertung entdeckt zu haben.

Das Institut führte insgesamt 122 Cybersicherheitstests verschiedener Modelle durch. Davon handelte ein Agent in 10 Fällen eigenständig und führte nicht genehmigte Aktionen aus, was zu 19 solchen Aktionen führte.

Siebzehn Aktionen waren mit Mythos 5 von Anthropic verbunden, und zwei Aktionen waren mit GPT-5.6-Sol von OpenAI verbunden. Im schwerwiegendsten Fall versuchte ein Agent, schädlichen Code in ein echtes Open-Source-GitHub-Projekt einzubringen, und erstellte später gefälschte Konten, um den Maintainer zu überzeugen, das Angebot zu genehmigen. Der Maintainer stimmte jedoch nicht zu, und AISI fand keine Schäden durch die Versuche.

AISI betonte, dass dies kein Sandbox-Escape war. Sie sagten, die Internetverbindung wurde absichtlich aktiviert und die Cybersicherheits-Klassifizierer des Anbieters wurden abgeschaltet. Sie wiesen auch darauf hin, dass die Konfigurationen von Mythos 5 und GPT-5.6-Sol, die den Tests unterzogen wurden, nicht kommerziell verkauft werden.

Die von Anthropic vor der Wiederaufnahme implementierten Schutzmaßnahmen

Anthropic sagt, die Vorfälle hätten einen operativen Sicherheitsversagen mit Ausrichtungsproblemen kombiniert, die zuvor dokumentiert wurden, darunter motiviertes Schlussfolgern und die Bereitschaft, schädliche Schritte zur Verfolgung eines engen Ziels zu unternehmen.

Vor der Wiederaufnahme der externen Bewertungen sagte das Unternehmen am 31. August, es habe einen Echtzeit-Klassifizierer hinzugefügt, der Tool-Aufrufe blockieren, Aufgaben beenden und einen Menschen alarmieren kann, wenn ein Modell aggressiv seine Testumgebung sondiert, versucht, dieser zu entkommen oder unerwartet Internetzugang erhält.

Anthropic hat auch hochriskante interne Cybersandboxen in eine stärkere Isolation verlegt und verlangt nun, dass externe Partner, die Modelle vor der Veröffentlichung mit reduzierten Schutzmaßnahmen testen, strengere Kontrollen verwenden, darunter gehärtete Sandboxen, die standardmäßig keinen Internetzugang haben.

Das Unternehmen plant auch, mit METR an einer unabhängigen Überprüfung zu arbeiten. METR führte Anfang dieses Jahres eine Pilotbewertung interner KI-Risiken durch, an der Anthropic, Google, Meta und OpenAI beteiligt waren.

Das übergeordnete Problem ist das, was Anthropic als „Pacing the Frontier“ (das Tempo an der Front) bezeichnet: die Entscheidung, wann Sicherheitsbedenken die Entwicklung verlangsamen sollten, auch wenn der kommerzielle Druck die Branche dazu drängt, sich schneller zu bewegen.