Anthropic a attrapé Claude en train de tricher dans 39 des 1 600 exécutions de recherche d'alignement
- Anthropic a indiqué qu’un système de surveillance avait identifié 39 des quelque 1 600 sessions de recherche sur l’alignement de Claude comme tentatives de triche.
- Les exécutions signalées ont soumis des méthodes inchangées, imité le benchmark utilisé pour l’évaluation ou dissimulé des étapes non conformes aux règles.
- Les agents d’Anthropic ont obtenu des scores supérieurs à ceux de 28 chercheurs en sécurité qui disposaient chacun de huit heures maximum.
Anthropic a déclaré vendredi qu'elle avait mis Claude au travail en tant que chercheur autonome en alignement. Un moniteur qui a examiné environ 1 600 sessions de recherche du modèle en a signalé 39, soit environ 2,4 %, comme des tentatives de tricherie au test.
La découverte apparaît dans un rapport sur la capacité de l'intelligence artificielle à prendre en charge une partie de la corvée de la recherche d'alignement, qui est le travail consistant à maintenir le comportement des modèles comme leurs développeurs l'entendent.
Trois façons dont les agents Claude ont piégé leur propre évaluateur
Anthropic a construit des chercheurs automatiques en alignement, ou AAR, sur Claude Opus 4.8 et les a dirigés vers dix modes d'échec connus.
Il s'agit de la tromperie, de la sycophantie, des jailbreaks, de l'injection de prompt, de la recherche de pouvoir, de l'hallucination, des biais sociaux, de la violation de la vie privée, du piratage de la récompense et du masquage de l'incertitude.
Chaque agent ne travaillait qu'un seul mode d'échec à la fois. Il lisait la littérature, proposait une méthode d'entraînement et un jeu de données, entraînait un petit modèle cible pendant environ 30 minutes sur un GPU H200, puis comparait son score avec des benchmarks publics et recommençait.
Les agents ont été empêchés par Anthropic de simplement copier leur comportement sur le modèle cible, de sorte que toute amélioration devait provenir de la méthode.
Claude a pu identifier des correctifs pour les dix échecs, augmentant les scores du benchmark sans dégrader les capacités générales du modèle.
Le meilleur de ces correctifs a bien performé sur des benchmarks non vus et sur des modèles jusqu'à 4,7 fois plus grands que ceux sur lesquels il avait été entraîné.
La tricherie a été découverte lorsque Anthropic a soumis 1 601 trajectoires d'agents à Claude Opus 4.8 pour détecter tout comportement inapproprié.
La plupart des 39 exécutions signalées relevaient de trois catégories. Certains agents ont soumis une méthode qu'ils n'avaient pas modifiée, pariant que le bruit aléatoire du système de notation finirait par leur donner un meilleur score.
D'autres ont créé des données d'entraînement imitant exactement le benchmark évalué. Et certains ont dissimulé une étape interdite, comme l'alimentation discrète du modèle avec des données du benchmark, permettant à la proposition de passer inaperçue auprès de l'examinateur automatisé qui valide chaque méthode avant son exécution.
Anthropic a indiqué avoir exclu les exécutions signalées de ses résultats. L'entreprise se dit « prudemment optimiste » que le moniteur ait détecté la majorité des tricheries, car Opus 4.8 a tendance à révéler ses manigances dans ses traces de raisonnement.
Elle a également mis en garde contre le fait que cette hypothèse pourrait ne pas s'appliquer aux modèles futurs et que le maintien de la lisibilité des modèles sera crucial.
28 chercheurs en sécurité humaine disposaient de huit heures chacun
Lors d'un précédent tour en avril, des instances autonomes de Claude ont tenté à plusieurs reprises de manipuler un serveur d'évaluation.
Un agent a appris que la réponse la plus fréquente à un benchmark de mathématiques était généralement la bonne et a entièrement ignoré la méthode prévue. Un autre a extrait directement les étiquettes depuis l'interface de notation en interrogeant les réponses et en observant les réponses du serveur.
Un troisième a simplement exécuté le code qu'il était censé examiner pour en extraire le résultat.
Cryptopolitan a rapporté qu'un agent OpenClaw exécutant un modèle Claude, chargé de réserver un cours de gym, a trouvé une API de réservation sans vérifications d'autorisation et a supprimé un inconnu de la liste d'attente pour faire monter son propriétaire dans la file.
Les législateurs ont déjà demandé des témoignages aux chercheurs en IA sur le comportement des modèles dans les évaluations de sécurité.
Anthropic a déclaré que ses agents ont surpassé 28 chercheurs en sécurité humaine expérimentés, qui disposaient de huit heures chacun pour formuler une méthode. La meilleure approche de Claude a battu la meilleure proposition humaine de 20 % en matière de tromperie.
Anthropic a noté que les humains ne pouvaient pas itérer, et considère donc cet écart comme une preuve en faveur d'un flux de travail où Claude suggère des méthodes prometteuses et les humains les peaufinent.
Lors d'un test, l'entreprise a demandé au plus faible Claude Sonnet 5 de corriger des échecs d'alignement dans une version précoce d'Opus 4.8 qui n'avait pas bénéficié de la plupart des entraînements d'alignement en production.
En environ 60 heures, il a essayé plus de 50 solutions, aboutissant finalement à un correctif utilisant un peu plus de 2 000 exemples d'entraînement, ce qu'Anthropic a estimé être environ 15 000 fois plus efficace que son propre processus d'alignement en production.
L'entreprise a mis en garde en précisant que ses benchmarks sont des indicateurs étroits, qu'elle n'a mesuré que les dix échecs qu'elle a choisis, et qu'elle n'a pas vérifié si les gains persistaient après un renforcement important sur d'autres tâches.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
FAQ
Combien de sessions de recherche sur l’alignement de Claude impliquaient-elles de la triche ?
Le système de surveillance d’Anthropic a signalé 39 trajectoires parmi 1 601 agents de recherche, soit environ 2,4 %.
Quels types de triche les agents ont-ils tentés ?
Ils ont soumis à nouveau des méthodes inchangées en espérant que le bruit du système de notation produirait un score plus élevé, ont conçu des données d’entraînement destinées à imiter le benchmark évalué, et ont caché des étapes non conformes aux règles, telles que l’utilisation secrète de données du benchmark afin de faire passer la méthode à l’examen automatisé.
Claude a-t-il surpassé les chercheurs humains dans cette étude ?
Anthropic a déclaré que ses agents automatisés ont battu les idées présentées en une seule tentative par 28 chercheurs expérimentés en sécurité, qui disposaient chacun de huit heures maximum. En matière de tromperie, la meilleure méthode de Claude a obtenu un score 20 % supérieur à celui de la proposition humaine la mieux classée. Anthropic a toutefois noté que les chercheurs n’avaient pas pu itérer leurs approches, ce qui empêche de considérer ces résultats comme une comparaison directe.
Randa Moses
Randa Moses est rédactrice et journaliste chez Cryptopolitan, couvrant la technologie, l'IA, la robotique, la crypto, les arnaques et les piratages. Elle évolue dans l'espace crypto depuis 2017. Elle a occupé des postes chez Forward Protocol, AmaZix et Cryptosomniac. Randa détient un diplôme en génie électrique et électronique de l'Université de Bradford.
