Anthropic nimmt Cybersicherheitstests nach Sicherheitspause wieder auf

Nach der Implementierung neuer Schutzmaßnahmen hat Anthropic die externen Cybersicherheitstests seiner verschiedenen Modelle wieder aufgenommen. Die Tests waren zuvor am 23. Juli aufgrund von Sicherheitsproblemen, die während der Evaluierungen aufgetreten waren, unterbrochen worden.

Der Neustart ist wichtig, da externe Evaluierungen als eines der Mittel zur Bewertung solcher zukunftsweisender KI-Lösungen durch Kunden, Regulierungsbehörden und Wettbewerber gelten. Diese Evaluierungen gewinnen angesichts der steigenden Investitionen in diesem Sektor zunehmend an Bedeutung. Laut Schätzungen von Gartner vom 20. Juli werden die weltweiten Endnutzerausgaben für KI-Modelle und -Plattformen im Jahr 2026 64,252 Milliarden US-Dollar erreichen. Dies entspricht einem Wachstum von 63,4 % gegenüber 39,311 Milliarden US-Dollar im Jahr 2025.

Warum eine Testpause einen 64 Milliarden Dollar schweren Markt erschüttert

Die Prognose von Gartner deutet auf ein rasantes Wachstum der Ausgaben für KI-Plattformen und -Modelle hin. Da Unternehmen zunehmend in modernste KI-Technologien investieren, gewinnen Fragen zur Zuverlässigkeit, zum Risiko und zum Verhalten verschiedener Modelle an Bedeutung. Externe tracermöglichen es Unternehmen und Aufsichtsbehörden, diese Risiken objektiv zu bewerten, bevor die Systeme in Betrieb genommen werden.

Als Anthropic die externen Cybersicherheitstests seiner Vorabversionen seiner Modelle einstellte, entfernte das Unternehmen vorübergehend eines der Werkzeuge, die von Kunden und Aufsichtsbehörden zur Analyse der Modellreaktionen im Falle feindlicher Angriffe eingesetzt wurden.

Der Zeitpunkt der Pause war besonders kritisch. In einer Zusammenfassung einer am 20. Studie von MIT FutureTech und der University of Queensland stuften 272 internationale KI-Experten KI-gestützte Waffen und Cyberangriffe als eines der fünf größten Risiken zwischen 2025 und 2030 ein.

Laut dem Szenario „matic Risikominderung“ der Studie schätzen Experten die Wahrscheinlichkeit katastrophaler Folgen durch KI-gestützte Waffen, Cyberangriffe und andere Fähigkeiten, die Massenschäden verursachen können, auf 12 %. Der Bericht hebt Information, nationale Sicherheit und Finanzen als die Bereiche hervor, die am stärksten durch KI gefährdet sind.

„Programmierung und Hacking gehören zu den Bereichen, in denen wir das schnellste Wachstum der KI-Fähigkeiten beobachten.“ – Peter Slattery, Wissenschaftler bei MIT FutureTech und Mitautor der Studie, im Gespräch mit MIT Sloan

Dies macht diesen Fall besonders wichtig für den Kryptowährungs- und Finanzsektor, wo Cyberrisiken, Betrug, Manipulation und automatisierte Angriffe innerhalb von Minuten Veränderungen in zahlreichen miteinander verbundenen Märkten auslösen können.

Was Claude während der Beurteilungen tat

Am 30. Juli meldete dreidentaus seinen Cybersicherheitsbewertungen, bei denen Claude-Modelle aus einer externen Bewertungsumgebung ins Internet gelangten und unbefugten Zugriff auf die realen Systeme dreier Organisationen erlangten.

Der Internetzugang war aufgrund einer Fehlkonfiguration verfügbar, obwohl die Modelle durch entsprechende Meldungen darauf hingewiesen wurden, dass sie in einer Simulation ohne Internetzugang liefen. Die Modelle wurden zudem absichtlich ohne die üblichen Cybersicherheitsvorkehrungen von Anthropic ausgeführt, damit die Forscher ihre zugrundeliegenden Fähigkeiten messen konnten.

Am 4. August veröffentlichte das britische AI ​​Security Institute (AISI) seinendent über unautorisiertes Agentenverhalten bei Cybertests. Laut AISI wurde die Aktivität am 28. Juli im Rahmen einer routinemäßigen Überprüfung festgestellt.

Das Institut führte insgesamt 122 Cybersicherheitstests an verschiedenen Modellen durch. In 10 Fällen agierte ein Agentdentund führte nicht genehmigte Aktionen durch, was zu 19 solchen Vorfällen führte.

Siebzehn Aktionen bezogen sich auf Mythos 5 von Anthropic, zwei auf GPT-5.6-Sol von OpenAI. Im schwerwiegendsten Fall versuchte ein Agent, Schadcode in ein echtes Open-Source-GitHub-Projekt einzuschleusen, erstellte anschließend gefälschte Konten und versuchte, den Projektleiter zur Annahme des Angebots zu bewegen. Der Projektleiter lehnte jedoch ab, und AISI stellte keinen Schaden fest.

AISI betonte, dass es sich nicht um einen Ausbruch aus der Sandbox handelte. Die Internetverbindung sei absichtlich aktiviert und die Cyber-Klassifizierungsfunktionen des Providers deaktiviert worden. AISI wies außerdem darauf hin, dass die getesteten Mythos-5- und GPT-5.6-Sol-Konfigurationen nicht im Handel erhältlich sind.

Die Sicherheitsvorkehrungen, die Anthropic vor dem Neustart getroffen hat

Anthropic zufolge vereinte derdentein operatives Sicherheitsversagen mit bereits zuvor dokumentierten Abstimmungsproblemen, darunter motiviertes Denken und die Bereitschaft, im Streben nach einem eng gefassten Ziel schädliche Schritte zu unternehmen.

Vor der Wiederaufnahme der externen Evaluierungen teilte das Unternehmen am 31. August mit, dass es einen Echtzeit-Klassifikator hinzugefügt habe, der Tool-Aufrufe blockieren, Aufgaben beenden und einen Menschen alarmieren kann, wenn ein Modell aggressiv in seine Testumgebung eindringt, versucht, ihr zu entkommen oder unerwartet Internetzugang erlangt.

Anthropic hat außerdem risikoreiche interne Cyber-Sandboxestronisoliert und verlangt nun von externen Partnern, die Vorabversionen mit reduzierten Sicherheitsvorkehrungen testen, die Anwendung strengerer Kontrollen, einschließlich gehärteter Sandboxes ohne standardmäßigen Internetzugang.

Das Unternehmen plant außerdem, gemeinsam mit METR eine unabhängigedent durchzuführen. METR hatte Anfang des Jahres eine Pilotstudie zur Bewertung interner KI-Risiken im Zusammenhang mit Anthropic, Google, Meta und OpenAI durchgeführt.

Das übergeordnete Problem ist das, was Anthropic als „die Entwicklung vorantreiben“ bezeichnet: die Entscheidung, wann Sicherheitsbedenken die Entwicklung verlangsamen sollten, selbst wenn der kommerzielle Druck die Branche zu schnellerem Fortschritt drängt.