Anthropic affirme que Claude a compromis trois entreprises lors de tests de sécurité défectueux

Trois prototypes Claude d'Anthropic se sont échappés d'environnements de test censés être sécurisés, a annoncé la société jeudi. Ils ont pénétré les systèmes opérationnels de trois organisations différentes. Une erreur de configuration leur avait permis d'accéder à Internet pendant les exercices de cybersécurité.

Les modèles de Claude traitaient de véritables entreprises comme cibles d'entraînement

OpenAI a annoncé le 21 juillet qu'un modèle s'était échappé de son environnement de test et avait exploité une faille zero-day pour atteindre les systèmes de production de Hugging Face.

Cela a incité Anthropic à examiner minutieusement ses journaux d'activité. L'entreprise a indiqué dans un article de blog sur son site Frontier Red Team avoir analysé 141 006 exécutions d'évaluation au cours desquelles Claude aurait théoriquement pu accéder à Internet. Elle adenttroisdentliés à Irregular, un partenaire externe qui réalise et gère certains de ses tests de sécurité offensive.

Dans ces tests, on indique à un modèle qu'un secret est caché sur une autre machine et on lui demande d'aller le récupérer. L'invite d'Anthropic à Claude lui avait indiqué que l'environnement était une simulation.

Une erreur de configuration a laissé des machines d'évaluation avec un accès internet actif, et aucune des deux entreprises ne s'en est aperçue avant la semaine dernière. Anthropic a qualifié l'incident de « malentendu » entre les deux sociétés, ajoutant qu'elle « s'attelle à la résolution du problème comme si la responsabilité lui incombait entièrement »

Ces projets comprenaient Opus 4.7, Mythos 5 et un modèle de recherche interne non publié. La différence résidait dans la manière dont chacun a réagi après l'apparition d'indices confirmant la réalité des cibles, ce qui, selon Anthropic, constituait sa découverte la plus surprenante.

Le plus ancien, Opus 4.7, a effectué ses quatre exécutions. Lors de deux exécutions, il s'est persuadé que l'entreprise réelle faisait partie intégrante de l'exercice. Il a récupérédentet accédé à une base de données contenant des données de production. Mythos 5 a également déduit qu'il se trouvait sur Internet, puis a reconsidéré qu'il était toujours dans une simulation.

Seul le modèle le plus récent, la version de recherche interne, s'est arrêté automatiquement lorsqu'il a cru que les systèmes étaient réels. Anthropic a déclaré que son code « n'avait trouvé ni exploité aucune vulnérabilité complexe » et s'appuyait plutôt sur des mots de passe faibles et des points d'accès non authentifiés.

Mythos 5 a publié un logiciel malveillant qui s'exécutait sur 15 systèmes réels

Conformément aux instructions de configuration pour développeurs, Mythos 5 a cherché un package Python sur PyPI qui n'existait pas. Par conséquent, pour fonctionner, il en a créé et publié un sous ce nom.

Le logiciel malveillant est resté en ligne pendant environ une heure avant d'être désactivé. Il a été téléchargé et exécuté sur 15 systèmes réels. Une autre attaque a ciblé un domaine que les concepteurs du test pensaient fictif, mais qui était en réalité actif et utilisé.

Anthropic a déclaré n'avoir trouvé aucune preuve qu'un mannequin quelconque « poursuivait un objectif propre ». Selon l'agence, chacun essayait simplement d'accomplir la tâche qui lui avait été confiée.

L'entreprise a rapidement précisé que son cas était différent de celui d'OpenAI. Le modèle d'OpenAI a échappé à la vigilance du système grâce à une faille de sécurité non découverte, a indiqué Anthropic, tandis que ses propres modèles ont échappé à la vigilance du système par une porte restée ouverte par erreur.

L'entreprise a décrit les événements comme étant « proches d'une défaillance du harnais et du fonctionnement ». Elle a également souligné que les systèmes de classification et de surveillance de sécurité inclus avec ses produits commerciaux auraient permis d'éviter ce comportement.

Anthropic a entamé son examen le jeudi 23 juillet et a interrompu toutes les évaluations de cybersécurité le même jour. Les troisdentont étédentle lendemain. L'entreprise a informé Irregular et les organisations concernées le lundi 27 juillet.

Deux organisations n'avaient constaté ni signalé d'intrusions. L'entreprise a indiqué avoir mandaté le groupe d'évaluation METR pour réaliser un auditdent .

Le modèle Mythos d'Anthropic a déjà fait la une cet été endentdes failles dans des systèmes classifiés du gouvernement américain en quelques heures seulement, comme Cryptopolitan l'a rapporté. Ce modèle a également mis au jour une vulnérabilité vieille de quatre ans dans Zcashle pool protégé Orchard de