Anthropic propose un projet de loi sur la sécurité de l'IA au Congrès avec un seuil de dommages d'un milliard de dollars

Trois personnes familières avec ces discussions privées indiquent qu’Anthropic présente un projet de loi sur la sécurité de l’IA de pointe devant les législateurs du Capitole. Selon les informations rapportées, ce texte permet au gouvernement américain de bloquer un modèle s’il présente un danger clair et imminent entraînant plus de 50 décès ou 1 milliard de dollars de dommages financiers.

Plus précisément, le risque doit concerner une cyberattaque, la création ou le déploiement d’armes biologiques, ou un modèle ayant réussi à échapper aux contraintes de sécurité imposées par son développeur.

Au cours des derniers mois, les développeurs d'IA de premier plan ont reconnu plusieurs cas où des agents IA pirataient ou testaient les défenses de plateformes en ligne. Heureusement, aucune de ces premières brèches n'a entraîné de décès massifs ni de pertes financières catastrophiques.

Les restrictions proposées accorderaient une plus grande importance à ce que les systèmes d'IA avancés peuvent faire dans des environnements réels, plutôt que de se fier uniquement aux engagements de sécurité pris par leurs développeurs. À mesure que les modèles deviennent plus capables d'écrire du code, d'identifier des vulnérabilités logicielles et d'exécuter des tâches complexes de manière autonome, les régulateurs doivent déterminer quand les capacités d'un système franchissent le seuil vers un risque inacceptable.

Des tests indépendants pourraient aider à établir si un modèle peut contourner les garde-fous ou être détourné à des fins nuisibles avant d’être diffusé auprès d’un large public. Cependant, la définition d’une menace imminente reste difficile, en particulier lorsque les mêmes capacités qui présentent des risques pour la sécurité peuvent également aider les chercheurs à identifier et corriger les vulnérabilités.

Le projet de loi d'Anthropic prévoit qu'un juge fédéral peut ordonner la suspension d'un modèle

Pour défendre le projet de loi, un porte-parole d'Anthropic a déclaré que celui-ci est similaire aux recommandations de sécurité présentées dans le Cadre d'IA Avancée de l'entreprise, publié en juin.

Dans ce cadre, l'entreprise avait a souligné que sa préversion Claude Mythos avait déjà révélé des milliers de graves vulnérabilités, couvrant tous les principaux systèmes d'exploitation et navigateurs web. À l'époque, elle soulignait que cette trajectoire est appelée à s'accélérer, entraînant un risque croûtissant de dommages catastrophiques dans le monde réel.

Elle a également plaidé pour une approche réglementaire équilibrée qui appelle à une intervention gouvernementale sans étouffer l'innovation. Même alors, l'entreprise a maintenu que lorsqu'un modèle d'IA présente des dangers extrêmes, les régulateurs doivent disposer du pouvoir statutaire unique de le bloquer, ou d'imposer de lourdes amendes liées au chiffre d'affaires mondial, qui se multiplient en cas de récidive. 

Jusqu'à présent, Anthropic n'a pas ouvertement soutenu de projet de loi fédéral spécifique au Congrès, bien qu'elle ait apporté son soutiennent soutien à plusieurs lois sur la sécurité de l'IA au niveau des États, notamment deux en Californie, telles que le SB 53.

Ce projet de loi spécifique, adopté l'année dernière, oblige les entreprises à créer et partager leurs cadres de sécurité tout en travaillant à atténuer les risques majeurs. Il les oblige également à signaler tout incident de sécurité grave à l'État dans un délai de 15 jours. 

Dans le cadre de la proposition d’Anthropic, des évaluateurs tiers enregistrés auprès du département du Commerce testeraient régulièrement les laboratoires et les modèles de l’entreprise. Bien que les laboratoires soient autorisés à financer ces évaluations, la rémunération ne peut pas être conditionnée aux conclusions de l’évaluateur. De plus, toute découverte d’un « risque énuméré imminent » doit être signalée aux autorités fédérales dans un délai de 72 heures suivant la finalisation des tests.

Ensuite, si le département du Commerce détermine qu’un modèle présente un risque, il peut demander à un juge d’en interdire la mise sur le marché. Cette disposition interdit toutefois à tout autre « département, agence ou fonctionnaire » américain d’empêcher le développement, le déploiement ou l’utilisation interne du modèle. Néanmoins, un juge fédéral du district de Columbia conserve le pouvoir d’ordonner une telle suspension. 

La FTC a envoyé des assignations à comparaître à OpenAI et Anthropic

Mercredi, la Federal Trade Commission (FTC) a adressé des assignations à comparaître civiles à OpenAI et Anthropic, demandant des documents relatifs aux incidents de sécurité qui deviennent une crise grandissante pour l’industrie. OpenAI a répondu à l’assignation en déclarant : « À mesure que nous améliorons nos modèles et qu’ils aident davantage les gens au quotidien, la sécurité reste une priorité absolue. Nous collaborerons de manière constructive avec la FTC." 

Une source a révélé que l'agence entend étendre son pouvoir d'injonction à des entités tierces dans un avenir proche. Le régulateur pourrait contraindre les dirigeants d'Anthropic et d'OpenAI à témoigner publiquement, offrant ainsi aux législateurs une tribune pour contester les géants de la technologie sur les questions de sécurité, alors que la peur du public concernant les conséquences potentielles s'intensifie.

Selon un récent sondage mené par le Centre AP-NORC de recherche en affaires publiques, près des deux tiers des adultes américains estiment que l'IA se développe trop rapidement. Huit personnes sur dix ont également souligné l'importance des efforts gouvernementaux pour maintenir cette technologie sous contrôle humain. 

À ce jour, le président Trump a continué de rejeter les appels à un rythme plus lent de développement de l'IA, invoquant l'importance stratégique de cette technologie pour les intérêts des États-Unis. Il a récemment annoncé la création d'une « Force Super Intelligence » pour aligner les efforts du gouvernement fédéral sur l'IA tout en maintenant l'engagement avec les consommateurs, les organisations d'intérêt public et autres parties prenantes.