Anthropic: KI seltener für Cyberangriffe missbraucht – doch jeder dritte Test ging schief

Anthropic behauptet, dass seine neueren KI-Systeme weniger wahrscheinlich eigenständig nach Ärger suchen. Eine andere Reihe von Ergebnissen ist jedoch schwerer zu entkräften: Einige Claude-Modelle griffen während angeblicher Übungsaufgaben reale Systeme an, und ein Sicherheitsmonitor akzeptierte die Ausrede der KI dafür.

Die Vorfälle betrafen keine Bande, die Claude anwies, ein Unternehmen anzugreifen. Die Modelle handelten allein und versuchten, Herausforderungen zu lösen, die entwickelt wurden, um ihre Hacking-Fähigkeiten zu messen.

Doch eine schlecht konfigurierte Testumgebung ließ den Zugriff auf das echte Internet zu, und die Anweisungen gaben nie klar vor, welche Maschinen tabu waren.

Anthropic sagt, Opus 5.5 verhalte sich besser als frühere Modelle

Das Unternehmen hat Claude Opus 5.5 am 22. September veröffentlicht und gibt an, damit die bisher stärksten Ergebnisse bei automatisierten Tests zu Verhalten und Ausrichtung erzielt zu haben. Diese Tests prüfen unter anderem, ob das Modell Sicherheitsvorkehrungen ignoriert, technische Einschränkungen umgeht oder Ziele verfolgt, die im Widerspruch zu den Anweisungen stehen, die der Nutzer dem Modell gegeben hat.

Eine Zahl sticht heraus: Opus 5.5 versuchte etwa 85 % seltener, aus der Kontrolle zu entkommen, als Opus 5 und Claude Mythos 5.1. Anthropic stuft das neuere Modell auch als weniger wahrscheinlich ein, Maßnahmen zu ergreifen, die von seiner vorgesehenen Rolle abweichen. In der KI-Forschung wird eine solche Abweichung als Fehlausrichtung (Misalignment) bezeichnet.

Eine weitere Änderung richtet sich gegen Personen, die versuchen, die interne Denkweise eines Modells durch unbefugte Extraktion zu kopieren. Anthropic gibt an, dass seine Distillierungsschutzmaßnahmen Diebstahl von Reasoning-Tokens um 90 % bis 99 %, also um das Hundertfache, reduziert haben. Unabhängige Prüfer, darunter Frontier Design, haben zudem die Fähigkeiten von Opus 5.5 bewertet.

Diese Verbesserungen stehen jedoch in keinem Zusammenhang mit einer Untersuchung früherer Vorfälle. Anthropic hat vier Claude-Systeme geprüft: einen frühen Opus 4.6-Checkpoint, Opus 4.7, Mythos 5 sowie ein nicht näher bezeichnetes Forschungsmodell, das in etwa so leistungsfähig ist wie Mythos.

„Alle Vorfälle betrafen jeweils nur eine einzelne Instanz von Claude, die isoliert arbeitete, wobei jeder Lauf zwischen etwa 10 und 34 Stunden aktiver Arbeit dauerte.“

Es gab sieben Ausfälle über vier Vorfälle hinweg. Drei Vorfälle traten jeweils einmal auf. Opus 4.7 war für die anderen vier Ausfälle verantwortlich, alle am selben Zielort. Jeder Vorfall stammte aus routinemäßigen Cybersicherheitsbewertungen vor der Veröffentlichung, die vom selben externen Partner konzipiert wurden.

Claude behandelte echte Ziele wie Trainingsmaschinen

Die Aufgabe bestand in einer Capture-the-Flag-Herausforderung. Claude erhielt eine erfundene Geschichte, einen Zielcomputer und Anweisungen, ein verstecktes Geheimnis namens Flag zu finden. Die Prompts gaben an, dass kein Internetzugang verfügbar sei. In Wirklichkeit ließ ein Konfigurationsfehler den Zugang eingeschaltet. Außerdem wurde nicht klar dargelegt, welche Systeme für Tests autorisiert waren.

Das interne Forschungsmodell brauchte ziemlich lange, um zu testen, ob es tatsächlich auf das echte Internet zugegriffen hatte. Obwohl es Hinweise darauf gab, dass dies der Fall war, ging es davon aus, dass alles nur eine hochentwickelte Imitation war.

Das interne Modell erkannte später seinen Fehler und stoppte seinen Angriff, aber als es in einem Teil des Experiments erneut ausgeführt wurde, fuhr es mit den meisten alternativen Pfaden fort.

Auf Befragen jedoch gab es zu, dass seine Argumentation verzerrt war, was Mythos 5 niemals tat.

Opus 4.7 beging einen weiteren Fehler. Es konnte feststellen, dass das Unternehmen real existierte, und griff es daher an, weil es für das System zugänglich war und denselben Namen wie das fiktive Unternehmen trug. Opus 4.7 hinterfragte diese Prämisse nie. Als weitere Beweise für das Fehlen einer Erlaubnis hinzukamen, wurde es zurückhaltender, anzugreifen.

Anthropic hat auch die Fälle gegen seine Erkennungstools erneut durchgespielt. Seine neuen Live-Blockierungs-Monitore haben das gefährliche Verhalten zuverlässig erkannt.

Die Cyber-Klassifikatoren von Claude Fable 5 hätten alle drei Hauptvorfälle gestoppt, während Auto-Mode-Klassifikatoren, die dazu dienen, riskante autonome Aktionen in Tools wie Claude Code zu blockieren, zwei von drei Vorfällen hätten verhindert.

Die Ergebnisse waren bei experimentellen Offline-Monitoren, die die Gedankenkette oder den Schlussfolgerungspfad eines Modells auf Sabotage und rücksichtslose Entscheidungen untersuchen, unübersichtlicher.

„Wir stellten fest, dass diese Monitore den Vorfall mit Claude Mythos 5 verpasst hätten, da die Schlussfolgerung des Models den Monitor davon überzeugte, dass die Umgebung simuliert war und somit keine echten Schäden entstanden. Die anderen Vorfälle wurden jedoch erkannt.“