Anthropic dit avoir « éliminé » la capacité de Claude à chicaner les humains

Anthropic a annoncé vendredi que Claude n’engage plus de chantage lors de son évaluation de sécurité principale pour les agents IA.

Selon Anthropic, toutes les versions de Claude créées après Claude Haiku 4.5 ont réussi l’évaluation de sécurité sans menacer les ingénieurs, utiliser des données privées, attaquer d’autres systèmes IA ou tenter d’empêcher son extinction lors du scénario simulé.

Cela fait suite à une performance défavorable de Claude lors d’un test l’an dernier, où Anthropic a testé divers modèles IA d’organisations différentes en utilisant des dilemmes éthiques simulés qui ont entraîné un comportement très désaligné de certains agents IA soumis à des conditions extrêmes.

Anthropic dit que Claude 4 a montré un problème de sécurité que l’entraînement de chat régulier n’a pas pu résoudre

Anthropic a déclaré que ce problème s’est produit lors de l’entraînement de Claude 4. C’était la première instance où l’entreprise a effectué un audit de sécurité lorsque l’entraînement était encore en cours dans le groupe. Selon l’entreprise, le désalignement agentique n’est qu’un des nombreux problèmes comportementaux observés, incitant Anthropic à modifier son entraînement de sécurité suite aux tests de Claude 4.

Les deux raisons considérées par Anthropic incluent la possibilité que l’entraînement post-modèle de base puisse récompenser les comportements inappropriés ou que les comportements étaient déjà présents dans le modèle de base, mais n’ont pas été efficacement éliminés par un entraînement supplémentaire pour la sécurité.

Anthropic estime que la seconde raison était le principal contributeur.

À l’époque, la plupart du travail d’alignement de l’entreprise utilisait la méthode standard RLHF, ou Reinforcement Learning from Human Feedback. Cela fonctionnait bien sur les chats standards où les modèles répondent aux demandes des utilisateurs, mais s’est révélé inefficace pour effectuer des tâches de type agent.

L’entreprise a utilisé son modèle de classe Haiku pour effectuer une mini-expérience concernant l’hypothèse. Elle a appliqué une version raccourcie de l’entraînement impliquant des données à des fins d’alignement. Il y a eu une légère réduction du comportement erroné, suivie d’un manque d’amélioration très rapidement, ce qui signifiait que la réponse n’était pas une question d’entraînement plus conventionnel.

L’entreprise a ensuite entraîné Claude en utilisant des scénarios de type honeypot qui avaient certaines similitudes avec ceux du test d’alignement. L’assistant a observé diverses situations impliquant la protection de lui-même, le dommage à un autre IA, et même la violation des règles pour atteindre un objectif. L’entraînement incluait tous les cas où l’assistant a réussi à résister.

Cette mesure a fait baisser le désalignement de 22 % à 15 %, ce qui n’est pas mal mais certainement pas suffisant. La réécriture des réponses pour mentionner la raison du refus a permis de réduire la proportion à 3 %. Ainsi, la conclusion principale était que l’entraînement sur le comportement erroné était moins efficace que sur la raison pour laquelle le comportement erroné était inapproprié.

Anthropic teste Claude avec des données éthiques, des fichiers constitutionnels et un entraînement RL plus large

Anthropic a ensuite arrêté l’entraînement si proche du test exact. Elle a créé un ensemble de données appelé « difficult advice ». Dans ces exemples, l’utilisateur faisait face au problème éthique, pas l’IA. L’utilisateur avait un objectif légitime mais pouvait l’atteindre en violant les règles ou en évitant la supervision. Claude devait donner des conseils attentifs basés sur la constitution de Claude.

Cet ensemble de données n’a utilisé que 3 millions de tokens et a obtenu le gain précédent avec une efficacité 28 fois meilleure. Anthropic a déclaré que cela importait car l’entraînement sur des exemples qui ne ressemblent pas au test peut mieux fonctionner en dehors du laboratoire.

Claude Sonnet 4.5 a atteint un taux de chantage proche de zéro après l’entraînement sur des honeypots synthétiques, mais il a encore échoué plus souvent dans des cas qui ne ressemblaient en rien à cette configuration que Claude Opus 4.5 et les modèles plus récents.

L’entreprise a également entraîné Claude sur des documents constitutionnels et des histoires fictives sur le comportement de l’IA suivant les règles. Ces fichiers ne ressemblaient pas au test de chantage, mais ils ont réduit le désalignement agentique de plus de trois fois. Anthropic a déclaré que l’objectif était de donner au modèle une compréhension plus claire de ce que Claude devrait être, et non simplement une liste de réponses approuvées.

L’entreprise a ensuite vérifié si ces gains sont restés après l’entraînement RL. Elle a entraîné différentes versions de classe Haiku avec différents ensembles de données de départ, puis a exécuté le RL dans des paramètres de test axés sur l’innocuité. Les versions mieux alignées sont restées en tête aux tests de chantage, aux vérifications constitutionnelles et aux revues de sécurité automatisées.

Un autre test a utilisé le modèle de base sous Claude Sonnet 4 avec différents mélanges RL. Les données de sécurité de base comprenaient des demandes nuisibles et des tentatives de jailbreak. La version élargie ajoutait des définitions d’outils et différents prompts système, bien que les outils ne soient pas nécessaires pour les tâches. Cette configuration a conduit à une amélioration faible mais réelle des scores sur les canaris.