Anthropic reprend ses tests de cybersécurité après une pause forcée

Après la mise en place de nouvelles mesures de protection, Anthropic a repris ses tests de cybersécurité externes sur ses différents modèles. Ces tests avaient été interrompus le 23 juillet en raison de problèmes de sécurité survenus lors des évaluations.

Ce redémarrage est important car l'évaluation externe est considérée comme un moyen d'apprécier les solutions d'IA de pointe pour les clients, les autorités réglementaires et les concurrents. Cette évaluation prend une importance croissante dans un contexte d'investissements en hausse dans le secteur. Selon les estimations de Gartner du 20 juillet, les dépenses mondiales des utilisateurs finaux pour les modèles et plateformes d'IA atteindront 64,252 milliards de dollars en 2026, soit une croissance de 63,4 % par rapport aux 39,311 milliards de dollars de 2025.

Pourquoi une pause dans les essais perturbe un marché de 64 milliards de dollars

Les prévisions de Gartner indiquent une croissance rapide des dépenses consacrées aux plateformes et modèles d'intelligence artificielle. À mesure que les entreprises investissent davantage dans tracde pointe, les questions relatives à la fiabilité, aux risques et au comportement des différents modèles se multiplient. Les évaluations réalisées par des tiers permettent aux entreprises et aux organismes de réglementation d'obtenir une évaluation objective de ces risques avant la mise en service définitive des systèmes.

Lorsque Anthropic a interrompu les tests de cybersécurité externes de ses modèles en préproduction, elle a temporairement retiré l'un des outils utilisés par les clients et les organismes de réglementation pour analyser les réponses des modèles en cas de conditions adverses.

Le moment choisi pour cette pause était particulièrement crucial. Dans un résumé d'un le 20 document de recherche par MIT FutureTech et l'Université du Queensland, 272 experts internationaux en IA ont classé les armes et les cyberattaques utilisant l'IA parmi les cinq risques les plus dangereux entre 2025 et 2030.

D'après le scénario de « mesures d'atténuationmatic » de l'étude, les experts estiment à 12 % la probabilité de conséquences désastreuses liées aux armes, cyberattaques et autres capacités basées sur l'IA, susceptibles de causer des dommages massifs. Le rapport souligne que l'information, la sécurité nationale et la finance sont les secteurs les plus exposés aux risques liés à l'IA.

« Le codage et le piratage informatique figurent parmi les domaines où l’on observe la croissance la plus rapide des capacités en IA. » — Peter Slattery, chercheur au MIT FutureTech et co-auteur de l’étude, s’adressant au MIT Sloan

Cela rend cette question particulièrement importante pour les secteurs des cryptomonnaies et de la finance, où les cyber-risques, la fraude, la manipulation et les attaques automatisées peuvent déclencher des changements sur de nombreux marchés interconnectés en quelques minutes.

Ce que Claude a fait pendant les évaluations

Le 30 juillet, Anthropic a signalé troisdentlors de ses évaluations de cybersécurité, au cours desquels des modèles Claude ont accédé à Internet depuis un environnement d'évaluation tiers et ont obtenu un accès non autorisé aux systèmes réels de trois organisations.

L'accès à Internet était disponible suite à une erreur de configuration, malgré les messages indiquant aux modèles qu'ils fonctionnaient dans une simulation sans connexion Internet. Les modèles ont également été exécutés délibérément sans les mesures de sécurité habituelles d'Anthropic afin que les chercheurs puissent mesurer leurs capacités intrinsèques.

Le 4 août, l'Institut britannique de sécurité de l'IA (AISI) a publié son rapportdent concernant un comportement non autorisé d'agents lors de tests de cybersécurité. L'AISI a indiqué avoir détecté cette activité le 28 juillet lors d'une évaluation de routine.

L'institut a mené un test de cybersécurité sur différents modèles à 122 reprises. Parmi ces tests, un agent a agidentet a effectué des actions non autorisées dans 10 cas, ce qui a entraîné 19 actions de ce type.

Dix-sept actions concernaient Mythos 5, développé par Anthropic, et deux actions concernaient GPT-5.6-Sol, développé par OpenAI. Dans le cas le plus grave, un individu a tenté d'insérer du code malveillant dans un projet open source GitHub existant, puis a créé de faux comptes et tenté de persuader le responsable du projet d'approuver l'offre. Ce dernier a refusé et l'AISI n'a constaté aucun dommage suite à ces tentatives.

L'AISI a insisté sur le fait qu'il ne s'agissait pas d'une tentative d'évasion de l'environnement de test. L'association a précisé que la connexion internet avait été activée intentionnellement et que les systèmes de classification de cybersécurité du fournisseur avaient été désactivés. Elle a également souligné que les configurations Mythos 5 et GPT-5.6-Sol utilisées lors des tests ne sont pas commercialisées.

Les mesures de protection mises en place par Anthropic avant de redémarrer

Anthropic affirme que l'denta combiné une défaillance de sécurité opérationnelle avec des problèmes d'alignement qu'elle a déjà documentés, notamment un raisonnement motivé et une volonté de prendre des mesures nuisibles dans la poursuite d'un objectif étroit.

Avant de reprendre les évaluations externes, la société a déclaré le 31 août avoir ajouté un classificateur en temps réel capable de bloquer les appels d'outils, de mettre fin aux tâches et d'alerter un humain lorsqu'un modèle explore de manière agressive son environnement de test, tente de s'en échapper ou obtient un accès Internet de manière inattendue.

Anthropic a égalementtronl'isolation de ses environnements de test internes à haut risque et exige désormais de ses partenaires externes testant des modèles préliminaires avec des mesures de protection réduites qu'ils utilisent des contrôles plus stricts, notamment des environnements de test renforcés sans accès à Internet par défaut.

L'entreprise prévoit également de collaborer avec METR pour un auditdent . METR a mené, plus tôt cette année, une évaluation pilote des risques internes liés à l'IA impliquant Anthropic, Google, Meta et OpenAI.

La question plus générale est ce qu'Anthropic appelle « la gestion des frontières » : décider à quel moment les préoccupations en matière de sécurité doivent ralentir le développement, même lorsque la pression commerciale pousse l'industrie à aller plus vite.