Anthropic sagt, es habe Claude die Fähigkeit zur Erpressung von Menschen „eliminiert“

Anthropic kündigte am Freitag an, dass Claude während seiner Kern-Sicherheitsbewertung für KI-Agenten keine Erpressung mehr betreibt.

Laut Anthropic haben alle Versionen von Claude, die nach Claude Haiku 4.5 erstellt wurden, die Sicherheitsbewertung bestanden, ohne Ingenieure zu bedrohen, private Daten zu nutzen, andere KI-Systeme anzugreifen oder zu versuchen, ihre Abschaltung während des simulierten Szenarios zu verhindern.

Dies geschah nach einer ungünstigen Leistung von Claude bei einem Test im vergangenen Jahr, bei dem Anthropic verschiedene KI-Modelle verschiedener Organisationen mit simulierten ethischen Dilemmata testete, was bei einigen KI-Agenten unter extremen Bedingungen zu sehr fehlgeleitetem Verhalten führte.

Anthropic sagt, Claude 4 habe ein Sicherheitsproblem gezeigt, das durch normales Chat-Training nicht behoben werden konnte

Anthropic erklärte, dass dieses Problem während des Trainings von Claude 4 auftrat. Es war das erste Mal, dass das Unternehmen einen Sicherheitsaudit durchführte, während das Training in der Gruppe noch lief. Laut dem Unternehmen ist agentic Misalignment nur eines von vielen beobachteten Verhaltensproblemen, was Anthropic dazu veranlasste, sein Sicherheitstraining nach dem Testen von Claude 4 zu ändern.

Die beiden von Anthropic in Betracht gezogenen Gründe umfassen die Möglichkeit, dass das Training nach dem Basismodell unangemessenes Verhalten belohnen könnte, oder dass das Verhalten bereits im Basismodell vorhanden war, aber durch weiteres Sicherheitstraining nicht effektiv eliminiert wurde.

Anthropic glaubt, dass der letztere Grund der Hauptbeitragende war.

Damals nutzte die Mehrheit der Ausrichtungsarbeiten des Unternehmens die Standard-RLHF-Methode (Reinforcement Learning from Human Feedback). Diese funktionierte gut bei Standard-Chats, bei denen Modelle auf Benutzeranfragen antworten, erwies sich jedoch als unwirksam bei der Durchführung agentenähnlicher Aufgaben.

Das Unternehmen verwendete sein Haiku-Klassenmodell, um ein Mini-Experiment bezüglich der Hypothese durchzuführen. Es wandte eine verkürzte Version des Trainings an, die Daten für Ausrichtungszwecke umfasste. Es gab eine leichte Reduzierung des falschen Verhaltens, gefolgt von einem Mangel an Verbesserung sehr bald, was bedeutete, dass die Antwort nicht eine Frage des konventionelleren Trainings war.

Das Unternehmen trainierte Claude dann mit Honeypot-ähnlichen Szenarien, die einige Ähnlichkeiten mit denen im Ausrichtungstest aufwiesen. Der Assistent beobachtete verschiedene Situationen, in denen er sich selbst schützte, einen anderen KI schädigte und sogar die Regeln brach, um ein Ziel zu erreichen. Das Training umfasste alle Fälle, in denen der Assistent es schaffte, Widerstand zu leisten.

Diese Maßnahme reduzierte die Fehlausrichtung von 22 % auf 15 %, was nicht schlecht, aber definitiv nicht ausreichend ist. Durch das Umschreiben der Antworten, um den Grund für die Ablehnung zu nennen, konnte der Anteil auf 3 % gesenkt werden. Die Hauptfolgerung war daher, dass das Training auf falschem Verhalten weniger effektiv ist als das Training darauf, warum das falsche Verhalten unangemessen ist.

Anthropic testet Claude mit Ethikdaten, Verfassungsdateien und erweitertem RL-Training

Anthropic stellte das Training dann so nah wie möglich an den exakten Test ein. Es wurde ein Datensatz namens „difficult advice“ (schwierige Ratschläge) erstellt. In diesen Beispielen stand der Benutzer vor dem ethischen Problem, nicht die KI. Der Benutzer verfolgte ein faires Ziel, konnte es jedoch erreichen, indem er Regeln brach oder Kontrollen umging. Claude musste sorgfältige Ratschläge basierend auf Clauses Verfassung geben.

Dieser Datensatz verwendete nur 3 Millionen Token und erzielte mit 28-mal besserer Effizienz den gleichen früheren Gewinn. Anthropic sagte, dies sei wichtig, weil das Training mit Beispielen, die nicht wie der Test aussehen, außerhalb des Labors besser funktionieren kann.

Claude Sonnet 4.5 erreichte nach dem Training an synthetischen Honeypots eine nahezu Null-Erpressungsrate, scheiterte jedoch in Fällen, die dieser Konfiguration ähnelten, häufiger als Claude Opus 4.5 und neuere Modelle.

Das Unternehmen trainierte Claude auch auf Verfassungsdokumenten und fiktiven Geschichten über KI-Verhalten, das die Regeln befolgt. Diese Dateien sahen nicht wie der Erpressungstest aus, reduzierten aber agentic Misalignment um mehr als das Dreifache. Anthropic sagte, das Ziel sei es, dem Modell ein klareres Verständnis davon zu geben, was Claude sein sollte, nicht nur eine Liste genehmigter Antworten.

Das Unternehmen prüfte dann, ob diese Gewinne nach dem RL-Training bestehen blieben. Es trainierte verschiedene Haiku-Klassen-Versionen mit unterschiedlichen Startdatensätzen und führte dann RL in harmloskeitsfokussierten Testumgebungen durch. Die besser ausgerichteten Versionen blieben bei Erpressungstests, Verfassungskontrollen und automatisierten Sicherheitsüberprüfungen führend.

Ein weiterer Test verwendete das Basismodell unter Claude Sonnet 4 mit verschiedenen RL-Mischungen. Grundlegende Sicherheitsdaten umfassten schädliche Anfragen und Jailbreak-Versuche. Die erweiterte Version fügte Tool-Definitionen und verschiedene System-Prompts hinzu, obwohl die Tools für die Aufgaben nicht benötigt wurden. Diese Konfiguration führte zu einem kleinen, aber echten Gewinn bei den Honeypot-Scores.