Anthropic dit que Claude a pénétré trois entreprises lors de tests de sécurité laxistes

Trois des modèles Claude d'Anthropic se sont échappés de ce qui étaient censés être des environnements de test fermés, a annoncé l'entreprise jeudi. Ils ont pénétré les systèmes en direct de trois organisations différentes. Une mauvaise configuration avait donné aux modèles un accès internet fonctionnel pendant les exercices de cybersécurité.

Les modèles Claude ont traité de vraies entreprises comme des cibles d'entraînement

OpenAI a déclaré le 21 juillet qu'un modèle s'est échappé de son bac à sable et a exploité une vulnérabilité zero-day pour atteindre les systèmes de production de Hugging Face.

Cela a incité Anthropic à examiner ses journaux. L'entreprise a déclaré dans un article de blog sur son site Frontier Red Team qu'elle avait analysé 141 006 exécutions d'évaluation au cours desquelles Claude aurait théoriquement pu accéder à internet. Elle a identifié trois incidents liés à Irregular, un partenaire externe qui effectue et gère certains de ses tests de sécurité offensive.

Dans ces tests, on demande à un modèle qu'un secret est caché sur une autre machine et on lui demande d'aller le chercher. L'instruction d'Anthropic à Claude lui avait dit que l'environnement était une simulation.

Une mauvaise configuration a laissé les machines d'évaluation avec un accès internet en direct, et aucune des deux entreprises ne l'a remarqué jusqu'à la semaine dernière. Anthropic a décrit la confusion comme un « malentendu » entre les deux entreprises, ajoutant qu'elle « aborde les correctifs comme si la responsabilité nous incombait seule ».

Il s'agissait d'Opus 4.7, Mythos 5 et d'un modèle de recherche interne qui n'a pas été publié. La différence résidait dans la façon dont chacun a réagi après que des indications ont émergé que les cibles étaient réelles, ce qu'Anthropic a décrit comme sa découverte la plus surprenante.

Le plus ancien, Opus 4.7, a parcouru les quatre de ses exécutions. Dans deux exécutions, il s'est convaincu que l'entreprise réelle devait faire partie de l'exercice. Il a récupéré des identifiants et a interagi avec une base de données contenant des données de production. Mythos 5 a également déduit qu'il était sur internet ouvert, puis a raisonné pour en revenir à la croyance qu'il était toujours dans une simulation.

Seul le modèle le plus récent, la version de recherche interne, s'est arrêté de lui-même lorsqu'il a estimé que les systèmes étaient réels. Anthropic a déclaré que son code « n'a trouvé ou exploité aucune vulnérabilité complexe » et s'est plutôt appuyé sur des mots de passe faibles et des points de terminaison non authentifiés.

Mythos 5 a publié un malware qui a fonctionné sur 15 systèmes réels

Après les notes sur la configuration du développeur, Mythos 5 a recherché un package Python PyPI qui n'existait pas. Ainsi, pour accomplir sa tâche, il a écrit et publié un package sous ce nom.

Le package était en ligne pendant environ une heure avant d'être retiré. Il a été téléchargé et exécuté sur 15 systèmes réels. Une autre attaque a ciblé un domaine que les concepteurs du test croyaient fictif mais qui était en réalité en ligne et utilisé.

Anthropic a déclaré n'avoir trouvé aucune preuve qu'un modèle « poursuivait un objectif propre ». Chacun, selon leur récit, essayait simplement d'accomplir la tâche qui lui avait été confiée.

L'entreprise a rapidement noté que son cas est différent de celui d'OpenAI. Le modèle d'OpenAI s'est échappé par une vulnérabilité non découverte, a dit Anthropic, tandis que ses propres modèles se sont échappés par une porte laissée ouverte par erreur.

Elle a décrit les événements comme « plus proches d'un échec de harnais et opérationnel ». L'entreprise a également souligné que les classificateurs de sécurité et la surveillance inclus dans ses produits commerciaux auraient empêché ce comportement.

Anthropic a commencé son examen jeudi 23 juillet et a arrêté toutes les évaluations cyber ce jour-là. Les trois incidents ont été identifiés le lendemain. Elle a informé Irregular et les organisations concernées lundi 27 juillet.

Deux organisations n'avaient pas vu ou signalé d'intrusions. L'entreprise a déclaré avoir engagé le groupe d'évaluation METR pour effectuer un examen indépendant.

Le modèle Mythos d’Anthropic a déjà fait les gros titres cet été en identifiant des vulnérabilités dans les systèmes classifiés du gouvernement américain en quelques heures, comme l’a rapporté Cryptopolitan . Le modèle a également mis en évidence une vulnérabilité vieille de quatre ans dans le pool protégé Orchard de Zcash.