Amodei d'Anthropic répond aux neuf accusations de son détracteur par neuf décisions coûteuses en matière de sécurité

Dario Amodei a remercié le critique Nathan Calvin, mercredi, pour avoir examiné les activités d'Anthropic, quelques jours après que Calvin ait contribué à soulever un tollé contre le projet de loi sur la sécurité de l'IA fuité par l'entreprise. 

Anthropic n'est plus qu'à quelques semaines du lancement de son introduction en bourse prévue et a répondu à la polémique en promettant de réécrire certaines parties du projet de loi.

Qu'est-ce que le projet de loi AEGIS ?

Dans un post sur X, Dario Amodei a déclaré que les critiques formulées par Nathan Calvin, avocat général du groupe de plaidoyer Encode, concernant le projet de loi sur la sécurité de l'IA fuité, provisoirement intitulé Artificial Intelligence Evaluation, Governance, and Incident Safety (AEGIS) Act, provenaient « d'une démarche constructive et honnête ». Il a ajouté que la société profite de la présence de personnes dont le rôle est d'examiner les laboratoires d'IA et a remercié Calvin.

Les défenseurs de la sécurité comparent constamment ce projet de loi à la loi FRONTIER bipartite présentée par les représentants Jay Obernolte et Lori Trahan, introduite en juillet.

Le projet est apparemment moins robuste que la loi FRONTIER bipartite sur deux points. Premièrement, il n’établit aucune norme ni exigence de licence pour les évaluateurs tiers qui vérifient les modèles des laboratoires, leur permettant de s’auto-certifier ; deuxièmement, il rend beaucoup plus difficile l’interdiction d’un modèle avancé dangereux.

Charlie Bullock de LawAI a mis en garde en affirmant qu’en l’absence de licence, les auditeurs se livreraient une concurrence déloyale en proposant les contrôles les plus légers au prix le plus bas.

Calvin a poussé plus loin, déclarant que cette proposition lui inspirait une « colère viscérale » et risquait probablement de réduire le pouvoir des tribunaux d’empêcher le développement des modèles avancés par rapport aux dispositions actuelles de la loi. Le sénateur californien Scott Wiener, auteur de la loi californienne sur l’IA de pointe SB 53, a écrit sur X que ce plan « ne protège pas suffisamment la santé et la sécurité publiques ».

Selon le projet, le Département du Commerce pourrait demander à un tribunal fédéral de suspendre un modèle d’IA, mais uniquement s’il existe un risque clair et proche dans le temps susceptible d’entraîner la mort ou des blessures graves à plus de 50 personnes, ou des dommages dépassant 1 milliard de dollars. 

Le préjudice doit également provenir d’une arme biologique, d’un modèle échappant au contrôle de son créateur ou d’une cyberattaque. Aucune autre agence ne pourra suspendre un modèle.

Le projet de loi permettrait également d’annuler certaines règles étatiques en matière de divulgation, d’essais externes et de déclaration d’incidents, mais il laisse en vigueur les lois relatives à la sécurité des enfants et aux droits civils. Les évaluateurs externes, appelés ainsi, devraient s’inscrire auprès du département du Commerce, et les laboratoires devraient les rémunérer, tant que cette rémunération n’est pas conditionnée par les résultats. Les évaluateurs doivent signaler tout risque imminent au département du Commerce dans un délai de 72 heures.

Anthony Cimino, qui dirige l’équipe des affaires fédérales d’Anthropic, a classé les critiques adressées au projet de loi en quatre catégories : préemption, blocage des modèles, seuils de risque et mises à jour. Il a admis que la formulation relative à la préemption « n’était pas assez précise » et a promis une réécriture. Il a estimé que les États devraient jouer un rôle dans la fixation des normes applicables aux évaluateurs et dans la décision d’arrêter un modèle lorsqu’un laboratoire est tenu de le faire.

Cimino a indiqué que les limites du dollar et des dommages-intérêts étaient tirées de la loi californienne, mais a convenu qu'il est probablement temps de les réviser. Il a également noté que le projet de loi permet déjà à un tribunal d'empêcher l'utilisation interne par un laboratoire d'un modèle dangereux, et pas seulement sa diffusion publique. Il exige également un rapport lorsqu'un modèle s'échappe et atteint des systèmes externes.

Les controverses entourant Anthropic affecteront-elles son introduction en bourse ? 

Anthropic a répondu aux critiques en listant les coûteux travaux de sécurité qu'elle a déjà financés. Son Feuille de route pour la sécurité de pointe, mise à jour le 19 octobre, indique que l'entreprise a achevé son objectif de test rouge interne avant la date cible du 1er janvier 2027.

Un système automatisé de test rouge qu'elle a développé a égalé ou surpassé la meilleure performance humaine dans toutes les 24 paires de classificateurs de questions issues de ses primes sur les armes biologiques, remportant 23 victoires directes, et ce en 24 à 48 heures plutôt qu'en semaines ou mois comme le nécessitaient les chercheurs humains.

Cette même mise à jour décrit de nouveaux travaux sur la vérification de l'inférence, les environnements d'inférence isolés, la sécurité physique des centres de données et la sécurité de la plateforme. 

Séparément, Project Glasswing s'est engagé à fournir jusqu'à 100 millions de dollars de crédits d'utilisation et 4 millions de dollars de dons à des groupes open source de sécurité, après qu'un modèle Anthropic non publié ait détecté des milliers de vulnérabilités zero-day, dont une faille vieille de 27 ans dans OpenBSD. 

Cryptopolitan l'a rapporté que l'entreprise avait promis de céder 5 % de ses actions à un fonds d'intérêt général plus tôt ce mois-ci.

En février toutefois, la version RSP v3.0 d'Anthropic a supprimé l'ancien engagement en matière de pause, le remplaçant par des rapports sur les risques et une feuille de route non contraignante.

Anthropic a déposé sa demande de introduction en bourse confidentiellement auprès de la SEC en juin et vise une valorisation supérieure à 2 billions de dollars, l'offre étant attendue après les élections mi-mandat américaines de novembre. Son prospectus révèle une perte de 42 milliards de dollars en 2025, bien que 34 milliards de dollars de cette somme correspondent à une charge comptable, ainsi qu'une perte d'exploitation qui s'est alourdie à 8,06 milliards de dollars. Le dépôt mentionne également des engagements de calcul de 518 milliards de dollars sur dix ans, dont environ 80 % ne peuvent être annulés par Anthropic.