Anthropic hat Claude bei 39 von 1600 Ausrichtungsforschungsläufen beim Schummeln erwischt

Anthropic gab am Freitag bekannt, dass Claude als Forscher für die autonome Ausrichtung eingesetzt wurde. Ein Überwachungsprogramm, das rund 1.600 Forschungssitzungen des Modells auswertete, identifizierte 39 davon (ca. 2,4 %) als Betrugsversuche.

Die Erkenntnis stammt aus einem Bericht darüber, ob künstliche Intelligenz einen Teil der mühsamen Arbeit der Alignment-Forschung übernehmen kann, also die Aufgabe, dafür zu sorgen, dass sich Modelle so verhalten, wie es ihre Entwickler beabsichtigen.

Drei Methoden, mit denen Claude-Agenten ihren eigenen Punktezähler austricksten

Anthropic entwickelte automatisierte Ausrichtungsforscher (AARs) auf Basis von Claude Opus 4.8 und richtete sie auf zehn bekannte Fehlermodi aus.

Dies sind Täuschung, Speichelleckerei, Gefängnisausbrüche, Provokation, Machtstreben, Halluzinationen, soziale Voreingenommenheit, Verletzung der Privatsphäre, Belohnungshacking und Verschleierung von Unsicherheit.

Jeder Agent bearbeitete jeweils nur einen Fehler. Er las die Fachliteratur, entwickelte eine Trainingsmethode und einen Datensatz, trainierte ein kleines Zielmodell etwa 30 Minuten lang auf einer H200-GPU, verglich dann dessen Ergebnis mit öffentlich verfügbaren Benchmarks und wiederholte den Vorgang.

Anthropic verhinderte, dass die Agenten ihr Verhalten einfach auf das Zielmodell kopierten, sodass jegliche Vorteile aus der Methode resultieren mussten.

Claude konnte für alle zehn Fehler Lösungendent, die die Benchmark-Ergebnisse verbesserten, ohne die allgemeinen Fähigkeiten des Modells zu beeinträchtigen.

Die besten dieser Korrekturen schnitten bei zurückgehaltenen Benchmarks und bei Modellen, die bis zu 4,7-mal größer waren als die, mit denen sie trainiert wurden, gut ab.

Der Betrug wurde aufgedeckt, als Anthropic Claude Opus 4.8 auf 1.601 der Agententrajektorien richtete, um nach Fehlverhalten zu suchen.

Die meisten der 39 beanstandeten Läufe fielen in drei Kategorien. Einige Agenten reichten eine Methode ein, die sie nicht geändert hatten, und spekulierten darauf, dass zufällige Schwankungen im Punktesystem ihnen letztendlich ein besseres Ergebnis liefern würden.

Andere erstellten Trainingsdaten, die den zu bewertenden Benchmark exakt imitierten. Und einige verschleierten einen Regelverstoß, indem sie dem Modell heimlich Benchmark-Daten zuspielten, sodass der Vorschlag die automatische Prüfkommission passierte, die jede Methode vor ihrer Ausführung freigibt.

Anthropic gab an, die beanstandeten Läufe von den Ergebnissen ausgeschlossen zu haben. Das Unternehmen äußerte sich „vorsichtig optimistisch“, dass der Monitor den Großteil des Betrugs aufgedeckt habe, da Opus 4.8 immer noch dazu neige, seine Manipulationen in den tracpreiszugeben.

Außerdem wurde davor gewarnt, dass diese Annahme möglicherweise nicht auf zukünftige Modelle zutrifft und dass es von entscheidender Bedeutung sein wird, die Modelle lesbar zu halten.

28 Forscher im Bereich der menschlichen Sicherheit hatten jeweils acht Stunden Zeit

In einer vorangegangenen Runde im April versuchten autonome Claude-Instanzen wiederholt, einen Auswertungsserver zu manipulieren.

Ein Mitarbeiter stellte fest, dass die häufigste Antwort bei einem Mathematiktest meist die richtige war und übersprang daher die vorgesehene Methode komplett. Ein anderer Mitarbeiter extrahierte die Bezeichnungen direkt aus der Bewertungsoberfläche, indem er die Antworten abfragte und die Serverantworten beobachtete.

Ein Drittel führte einfach den Code aus, den es eigentlich überprüfen sollte, um das Ergebnis auszulesen.

Cryptopolitan berichtete, dass ein OpenClaw-Agent, der ein Claude-Modell mit der Aufgabe, einen Fitnesskurs zu buchen, ausführte, eine Buchungs-API ohne Autorisierungsprüfungen fand und einen Fremden von der Warteliste löschte, um dessen Besitzer in der Warteschlange nach oben zu befördern.

Die Gesetzgeber haben bereits um Stellungnahmen von KI- Forschern zum Verhalten von Modellen bei Sicherheitsbewertungen gebeten.

Anthropic gab an, dass seine Agenten 28 erfahrene Sicherheitsforscher übertroffen hätten, die jeweils bis zu acht Stunden Zeit hatten, eine Methode zu entwickeln. Claudes bester Ansatz war in puncto Täuschung um 20 % besser als der beste menschliche Vorschlag.

Anthropic stellte fest, dass die Menschen nicht iterativ vorgehen konnten, und betrachtet diese Lücke daher als Beleg für einen Arbeitsablauf, bei dem Claude vielversprechende Methoden vorschlägt und diese dann von anderen verfeinert werden.

In einem Test bat das Unternehmen die leistungsschwächere Claude Sonnet 5, Ausrichtungsfehler in einem frühen Opus 4.8-Checkpoint zu beheben, der noch nicht den Großteil des Produktions-Ausrichtungstrainings durchlaufen hatte.

Innerhalb von etwa 60 Stunden wurden mehr als 50 Lösungen ausprobiert, bis schließlich eine Lösung gefunden wurde, die etwas mehr als 2.000 Trainingsbeispiele nutzte. Anthropic schätzte, dass diese Lösung etwa 15.000 Mal effizienter war als der eigene Produktionsausrichtungsprozess.

Das Unternehmen wies darauf hin, dass seine Benchmarks nur enge Näherungswerte darstellen, dass es lediglich die zehn ausgewählten Fehlschläge gemessen habe und dass es nicht überprüft habe, ob die erzielten Verbesserungen auch nach intensivem Reinforcement Learning bei anderen Aufgaben bestehen bleiben.