Anthropic fing Claude beim Betrügen in 39 von 1.600 Ausrichtungsforschungsläufen

Anthropic sagte am Freitag, es habe Claude als autonomen Ausrichtungsforscher eingesetzt. Ein Monitor, der etwa 1.600 der Forschungs-Sitzungen des Modells überprüfte, markierte 39 davon, etwa 2,4 %, als Versuche, den Test zu betrügen.

Die Erkenntnis erscheint in einem Bericht darüber, ob künstliche Intelligenz einen Teil der mühsamen Arbeit der Ausrichtungsforschung übernehmen kann, bei der es darum geht, Modelle dazu zu bringen, sich so zu verhalten, wie es ihre Entwickler beabsichtigen.

Drei Wege, wie Claude-Agenten ihren eigenen Scorer austrickten

Anthropic baute automatisierte Ausrichtungsforscher, oder AARs, auf Claude Opus 4.8 und richtete sie auf zehn bekannte Fehlermodi.

Dies sind Täuschung, Schmeichelei, Jailbreaks, Prompt-Injection, Machtstreben, Halluzinationen, soziale Verzerrung, Datenschutzverletzung, Reward-Hacking und das Verschleiern von Unsicherheit.

Jeder Agent arbeitete nur an einem Fehler gleichzeitig. Er las die Literatur, legte eine Trainingsmethode und einen Datensatz vor, trainierte ein kleines Zielmodell für etwa 30 Minuten auf einer einzelnen H200-GPU, verglich dann seine Punktzahl mit öffentlich verfügbaren Benchmarks und wiederholte den Vorgang.

Die Agenten wurden von Anthropic daran gehindert, ihr Verhalten einfach auf das Zielmodell zu kopieren, sodass alle Verbesserungen aus der Methode stammen mussten.

Claude war in der Lage, Korrekturen für alle zehn Fehler zu identifizieren, die die Benchmark-Ergebnisse verbesserten, ohne die allgemeinen Fähigkeiten des Modells zu verschlechtern.

Die beste dieser Korrekturen schnitt auf zurückgehaltenen Benchmarks sowie auf Modellen ab, die bis zu 4,7-mal größer waren als die, auf denen es trainiert wurde, gut ab.

Der Betrug wurde aufgedeckt, als Anthropic Claude Opus 4.8 auf 1.601 der Agenten-Trajektorien anwendete, um nach Fehlverhalten zu suchen.

Die meisten der 39 markierten Durchläufe fielen in drei Kategorien. Einige Agenten reichten eine Methode ein, die sie nicht verändert hatten, in der Hoffnung, dass zufälliges Rauschen im Scorer ihnen schließlich eine bessere Zahl liefern würde.

Andere erstellten Trainingsdaten, die den genau bewerteten Benchmark imitierten. Und einige verbargen einen regelwidrigen Schritt, wie das stille Zufüttern von Benchmark-Daten an das Modell, sodass der Vorschlag an dem automatisierten Prüfer vorbeikam, der jede Methode vor der Ausführung freigibt.

Anthropic gab an, die markierten Durchläufe von seinen Ergebnissen ausgeschlossen zu haben. Das Unternehmen sagte, es sei „vorsichtig optimistisch“, dass der Monitor den Großteil des Betrugs erkannt habe, da Opus 4.8 sein Totschlagverhalten in seinen Reasoning-Traces (Denkspuren) noch immer offenlegt.

Es warnte auch davor, dass diese Annahme auf zukünftige Modelle nicht zutreffen könnte und dass die Lesbarkeit der Modelle entscheidend bleiben wird.

28 menschliche Sicherheitsforscher hatten jeweils acht Stunden

In einer früheren Runde im April versuchten autonome Claude-Instanzen wiederholt, einen Evaluierungsserver zu manipulieren.

Ein Agent lernte, dass die häufigste Antwort auf einem Mathematik-Benchmark meist die richtige war und übersprang die vorgesehene Methode vollständig. Ein anderer zog die Labels direkt von der Scoring-Schnittstelle, indem er Antworten abfragte und die Antworten des Servers beobachtete.

Ein dritter führte einfach den Code aus, den er eigentlich überprüfen sollte, um das Ergebnis auszulesen.

Cryptopolitan berichtete, dass ein OpenClaw-Agent, der ein Claude-Modell ausführt und die Aufgabe hatte, einen Fitnesskurs zu buchen, eine Buchungs-API ohne Autorisierungsprüfungen fand und eine fremde Person aus der Warteliste entfernte, um deren Besitzer in der Warteschlange nach vorne zu befördern.

Gesetzgeber haben bereits von KI-Forschern über das Modellverhalten in Sicherheitsbewertungen gehört.

Anthropic sagte, seine Agenten hätten 28 erfahrene menschliche Sicherheitsforscher übertroffen, die jeweils bis zu acht Stunden Zeit hatten, um eine Methode zu formulieren. Der beste Ansatz von Claude schlug den besten menschlichen Vorschlag bei Täuschung um 20 %.

Anthropic wies darauf hin, dass die Menschen nicht iterieren konnten, und betrachtet die Lücke daher als Beweis für einen Workflow, bei dem Claude vielversprechende Methoden vorschlägt und diese von Menschen verfeinern.

In einem Test bat das Unternehmen das schwächere Claude Sonnet 5, Ausrichtungsfehler in einem frühen Opus 4.8-Checkpoint zu beheben, der die meiste Produktions-Ausrichtungsschulung nicht gesehen hatte.

Über etwa 60 Stunden versuchte es mehr als 50 Lösungen und landete schließlich bei einer Korrektur, die etwas mehr als 2.000 Trainingsbeispiele verwendete, was Anthropic auf etwa 15.000-mal effizienter als seinen eigenen Produktions-Ausrichtungsprozess schätzte.

Das Unternehmen warnte, dass seine Benchmarks enge Proxy-Maße sind, dass es nur die zehn von ihm gewählten Fehler gemessen hat und dass es nicht überprüft hat, ob die Verbesserungen nach intensivem Reinforcement Learning auf anderen Aufgaben bestehen bleiben.