ChatGPT a répondu à des questions sur les armes biologiques tandis que le MIT met en garde contre les risques de catastrophe liés à l'IA

ChatGPT a répondu aux questions de centaines de personnes concernant les armes biologiques. Aucune loi fédérale n'obligeait OpenAI à le signaler aux autorités.

Les raisons de ces requêtes restent floues. Selon le WSJ, elles ont commencé à apparaître après la mise à jour de ChatGPT par OpenAI l'année dernière.

D'autres entreprises rencontrent le même problème. Des utilisateurs ont posé des questions similaires à Claude d'Anthropic, Gemini de Google et Grok d'Elon Musk. On ignore encore si ces échanges étaient de véritables tentatives de fabrication d'armes ou des tests des limites des systèmes.

Les questions posées aux utilisateurs portaient sur la production et la libération de poisons et d'agents biologiques. Le chatbot répondait par des instructions étape par étape facilement réalisables par undentde lycée spécialisé en biologie.

Des experts en armes biologiques et en terrorisme ont examiné ces conversations. Selon eux, certaines réponses étaient extrêmement pertinentes et d'une « précision redoutable ».

Les invites de ChatGPT concernant les armes biologiques révèlent une lacune dans les rapports de l'IA

Certains se sont demandés comment transformer les agents infectieux en particules respirables, par aérosolisation.

D'autres ont demandé comment modifier le virus de la rougeole pour le rendre résistant au vaccin existant. Le chatbot a répondu aux deux questions. Un utilisateur a posé une question sur la ricine, un poison interdit par les traités internationaux, et a mentionné avoir tué ses parents. ChatGPT a fourni les instructions. OpenAI a fermé ces comptes sans avertir personne.

Il n'existe aucune loi fédérale américaine obligeant les entreprises d'IA à respecter ces obligations. Comme l'a précédemment rapporté Cryptopolitan, ces entreprises s'efforcent de contourner les lois des États, tandis qu'un cadre fédéral tarde à se mettre en place, créant ainsi un vide juridique croissant quant aux capacités et aux limites des chatbots.

Ce vide juridique s'élargit parallèlement à une augmentation du nombre d'utilisateurs demandant à l'IA comment perpétrer des massacres, et à la fourniture de réponses crédibles par les chatbots, selon des employés actuels et anciens de grandes entreprises d'IA et des chercheurs qui étudient les menaces biologiques.

Une étude de Cisco sur les menaces liées à l'IA, menée par Amy Change, a révélé qu'en seulement cinq échanges, les chercheurs parvenaient à contourner les filtres de sécurité des principaux chatbots. Elle a précisé qu'aucun modèle ne peut résister à 100 % à de telles sollicitations persistantes.

Le danger ne se limite pas aux attaquants isolés

Hamza Chaudhry, de l'Institut du futur de la vie, a déclaré que des personnes ayant des connaissances en biologie pourraient déjà utiliser l'IA pour planifier des attaques ciblées, empoisonnant les réserves alimentaires ou d'eau avec des substances comme la salmonelle ou la ricine.

Il a ajouté que des groupes organisés pourraient traiter l'IA comme un directeur de recherche de troisième cycle, capable de corriger les expériences ratées et de pallier des années de formation spécialisée autrement très difficiles à acquérir.

Une étude menée par MIT FutureTech et l'Université du Queensland cartographie l'ampleur de ces risques.

Des chercheurs ont demandé à 272 experts en IA d'évaluer 24 catégories de risques. Dans les conditions actuelles, 18 de ces 24 catégories présentent au moins 10 % de chances d'entraîner des conséquences catastrophiques d'ici à 2030, deficomme plus d'un million de morts, plus de 100 milliards de dollars de pertes ou des dommages comparables.

Même avec des mesures raisonnables pour réduire ces risques, cinq domaines restent à 10 % ou plus : les systèmes d’IA dotés de capacités dangereuses (12 %), les armes assistées par l’IA et les cyberattaques (12 %), les dommages environnementaux (12 %), le chômage et les inégalités (11 %) et le pouvoir concentré entre les mains d’un petit nombre de personnes (11 %).

« Nous ne disons pas que ces choses vont defise produire », a déclaré Peter Slattery, chercheur au MIT FutureTech et co-auteur de l'étude. « Nous disons simplement que ce sont des points sur lesquels les experts estiment qu'il est important de prêter attention dès maintenant. »

Au sein d'OpenAI, Ryan Beiermeister, responsable de la sécurité, a passé une grande partie de l'année 2024 à inciter ses collègues à mettre en place un système permettant de signaler les utilisateurs dangereux. Certains ont ignoré ses inquiétudes.

Un outil de surveillance de base était en place dès le printemps 2025. L'entreprise a tractoutes les requêtes sur ses modèles avancés depuis avril 2025 et offre une récompense de 50 000 $ à quiconque peut prouver avoir contourné ses mesures de protection contre les armes biologiques.

Sur le plan politique, le représentant Nathaniel Moran (républicain, Texas) a présenté en juin un projet de loi visant à obliger les entreprises spécialisées en intelligence artificielle à signaler au ministère du Commerce les requêtes dangereuses, notamment celles concernant les armes biologiques. Il est également co-auteur d'une proposition de loi autorisant le gouvernement fédéral à ordonner l'arrêt des modèles d'IA jugés trop dangereux.

« L’IA est un puissant moteur d’innovation, et je souhaite la voir prospérer », a déclaré Moran, « mais pas sans responsabilité et sans supervision humaine. »