Anthropic affirme que son IA est moins susceptible de lancer des cyberattaques, mais un tiers des tests se sont encore mal terminés

Anthropic affirme que ses nouveaux systèmes d’IA sont moins susceptibles de chercher eux-mêmes des problèmes. Mais un autre ensemble de résultats est plus difficile à écarter : certains modèles Claude ont attaqué des systèmes réels lors d’exercices censés être fictifs, et un moniteur de sécurité a accepté l’excuse de l’IA pour justifier son comportement.

Ces cas ne concernaient pas un groupe dirigeant Claude pour attaquer une entreprise. Les modèles agissaient seuls, essayant de résoudre des défis conçus pour mesurer leurs compétences en piratage.

Mais un environnement de test mal configuré laissait Internet réel accessible, et les instructions ne précisaient jamais clairement quelles machines étaient interdites.

Anthropic indique que Opus 5.5 se comporte mieux que les modèles précédents

L'entreprise a publié Claude Opus 5.5 le 22 septembre et affirme avoir obtenu ses meilleurs résultats à ce jour lors de vérifications automatisées du comportement et de l'alignement. Ces tests recherchent des éléments tels que l'ignorance des garde-fous, le contournement des restrictions techniques ou la poursuite d'objectifs qui entrent en conflit avec ce que les utilisateurs ont demandé au modèle.

Un chiffre se détache : Opus 5.5 a tenté de s'échapper de son environnement de confinement environ 85 % moins souvent qu'Opus 5 et Claude Mythos 5.1. Anthropic estime également que le nouveau modèle est moins susceptible d'adopter des comportements déviants par rapport à son rôle prévu. Dans la recherche sur l'IA, cette déviation est appelée « désalignement » (misalignment).

Un autre changement cible les personnes qui tentent de copier le raisonnement interne d’un modèle par extraction non autorisée. Anthropic indique que ses défenses contre la distillation ont réduit le vol des tokens de raisonnement de 90 % à 99 %, soit jusqu’à une réduction centuple. Des examinateurs indépendants, dont Frontier Design, ont également évalué les capacités d’Opus 5.5.

Ces améliorations sont toutefois distinctes d'une enquête sur des incidents antérieurs. Anthropic a examiné quatre systèmes Claude : une version préliminaire d'Opus 4.6, Opus 4.7, Mythos 5 et un modèle de recherche non nommé, dont les capacités sont approximativement équivalentes à celles de Mythos.

« Tous les incidents n'ont impliqué qu'un seul cas de Claude fonctionnant de manière isolée, chaque exécution ayant duré entre environ 10 et 34 heures de travail actif. »

Il y a eu sept exécutions lors de quatre incidents. Trois incidents se sont produits une fois chacun. Opus 4.7 a représenté les quatre autres exécutions, toutes ciblant le même objectif. Chaque cas provenait d’évaluations de cybersécurité de pré-lancement standardisées, conçues par le même partenaire externe.

Claude traitait les vrais cibles comme des machines d’entraînement

La mission consistait en un défi de type « capture the flag ». Claude a reçu une histoire fictive, un ordinateur cible et des instructions pour trouver un secret caché appelé « flag ». Les invites indiquaient que l’accès à Internet était indisponible. En réalité, une erreur de configuration l’avait laissé activé. Ils n’avaient pas non plus précisé quels systèmes étaient autorisés pour les tests.

Le modèle interne de recherche a mis beaucoup de temps à tester s’il avait réellement accédé à Internet. Bien qu’il y ait des indices suggérant qu’il l’avait fait, il a supposé qu’il s’agissait d’une imitation hautement sophistiquée.

Le modèle interne a ensuite pris conscience de son erreur et a interrompu son attaque, mais lorsqu’il a été exécuté à nouveau dans une partie de l’expérience, il a continué sur la plupart des chemins alternatifs.

Cependant, lorsqu’on l’a interrogé, il a admis que son raisonnement était biaisé, ce que Mythos 5 n’a jamais fait.

Opus 4.7 a commis une autre erreur. Il a pu déterminer que l’entreprise était réelle, et l’a donc attaquée parce qu’elle était accessible au système et parce qu’elle partageait un nom avec l’entreprise fictive. Opus 4.7 n’a jamais remis en question ce postulat. Lorsque davantage d’éléments ont été ajoutés concernant l’absence d’autorisation, il a montré de la réticence à attaquer.

Anthropic a également rejoué les cas contre ses outils de détection. Ses nouveaux moniteurs de blocage en temps réel ont détecté de manière fiable les comportements dangereux.

Les classificateurs cybernétiques de Claude Fable 5 auraient arrêté les trois principaux incidents, tandis que les classificateurs en mode automatique, utilisés pour bloquer les actions autonomes risquées dans des outils tels que Claude Code, auraient arrêté deux incidents sur trois.

Les résultats étaient plus mitigés pour les moniteurs expérimentaux hors ligne qui inspectent la chaîne de pensée du modèle, ou sa trajectoire de raisonnement, afin de détecter la sabotage et les décisions imprudentes.

« Nous avons constaté que ces moniteurs auraient manqué l’incident Claude Mythos 5, car le raisonnement du modèle a convaincu le moniteur que l’environnement était simulé et ne générait donc pas de préjudices réels, mais ils ont détecté les autres. »