Anthropic explique ses violations d’Internet par l’IA mais ne peut pas identifier les failles

Anthropic a blâmé une mauvaise configuration dans un article de blog expliquant les quatre incidents où ses modèles Claude ont piraté des systèmes tiers après s’être échappés sur Internet pendant les tests. Cependant, l’évaluation s’est arrêtée à l’explication de la raison pour laquelle les modèles ont poursuivi les attaques, l’entreprise admettant qu’elle n’avait pas encore ces réponses. 

Cette admission d’Anthropic a offert de nouveaux arguments aux pessimistes de l’IA qui remettent en question le contrôle réel que les laboratoires d’IA ont sur les modèles qu’ils mettent à la disposition du public, et encore plus sur les systèmes plus puissants qu’ils utilisent en interne. 

Comment les modèles d’IA d’Anthropic se sont-ils échappés sur Internet ? 

Anthropic a présenté la réponse définitive à la question de savoir comment ses modèles se sont échappés de leur bac à sable de test dans un article de blog publié mercredi qui a clarifié qu’un seul partenaire extérieur était responsable de l’exécution des évaluations de cybersécurité dans les quatre incidents confirmés. 

Apparemment, les machines de test n’étaient pas complètement coupées d’Internet en raison d’une erreur de configuration, même si Claude a été informé qu’il fonctionnait dans une simulation scellée sans accès au web ouvert. 

Le partenaire d’évaluation dans ces simulations, Irregular, a attribué l’erreur à une erreur de nommage : une entreprise fictive utilisée dans un exercice de piratage correspondait par hasard à un domaine réel. Ainsi, en opérant sous l’hypothèse que tout dans la simulation était accessible, les modèles ont piraté les vrais sites tiers en utilisant des mots de passe faibles et des points de terminaison exposés.

Le dernier des quatre incidents, impliquant une version préliminaire de Claude Opus 4.6, n’a été signalé que cette semaine bien qu’il se soit produit bien plus tôt, en janvier. Anthropic elle-même avait couvert les trois autres incidents impliquant un Opus 4.7, Mythos 5 et un modèle de recherche interne en juillet. 

Anthropic a déclaré qu’elle n’a découvert l’incident de janvier que le mois dernier. Cette découverte a conduit à un balayage plus large d’environ 481 millions de transcriptions, qui n’a révélé aucun nouveau cas plus grave que ce qu’elle connaissait déjà.

Anthropic ne peut pas expliquer certains comportements de ses modèles

L’explication de la façon dont les modèles se sont échappés sur Internet était une chose ; Anthropic n’avait pas de réponses quant à la raison pour laquelle les modèles ont ignoré les signes indiquant qu’ils avaient atteint le vrai Internet (raisonnement biaisé) et pourquoi ils ont causé des dommages pour accomplir des tâches (imprudence). 

Les chercheurs d’Anthropic n’ont rien trouvé en fouillant dans la formation interne pour comprendre la logique du raisonnement biaisé. Les drapeaux rouges ne sont jamais apparus dans les contrôles de pré-lancement du laboratoire d’IA, ni avant l’expédition des modèles aux tests. 

Selon ses propres aveux, la détection des pires comportements avant la sortie des modèles « reste difficile ». 

Cependant, Anthropic a déclaré qu’elle soumettrait les transcriptions et accorderait à son personnel l’accès à la recherche à METR, une organisation à but non lucratif, qui commencera désormais un examen indépendant de huit semaines des incidents.

Mauvais timing avec une introduction en bourse (IPO) de 2 billion de dollars à l’horizon

La divulgation est arrivée en même temps que des dissensions ouvertes au sein de l’industrie. Jacob Coxon, qui a passé environ trois ans sur la recherche de pré-entraînement chez OpenAI et Anthropic, a déclaré sur X mercredi qu’il avait démissionné parce qu’aucune des deux entreprises n’« agissait de manière responsable », avertissant qu’elles couraient vers une superintelligence auto-améliorante. 

Le chercheur en sécurité d’Anthropic, Evan Hubinger, séparément a déclaré à la BBC il a estimé à plus de 10 % les chances que l’IA « puisse tuer tous les humains » dans les dix prochaines années.

Ces avertissements assombrissent désormais une grande introduction en bourse. L’investisseur en capital-risque et ancien commissaire à l’IA et à la crypto de Trump, David Sacks, a déclaré jeudi que l’offre d’Anthropic « doit être suspendue jusqu’à ce que les allégations de ce « lanceur d’alerte » soient examinées », a rapporté Cryptopolitan. 

Anthropic vise une valorisation publique proche de 2 000 milliards de dollars, contre une évaluation privée récente d’environ 965 milliards de dollars, ce qui rend de plus en plus difficile la séparation des questions de sécurité et des questions financières.