ChatGPT a répondu à des questions sur les armes biologiques alors que le MIT met en garde contre les risques de catastrophe liés à l'IA

ChatGPT a répondu aux questions de centaines de personnes sur les armes biologiques. Aucune loi fédérale n'obligeait OpenAI à en informer les autorités.

L'intention derrière ces questions reste floue. Cela a commencé après qu'OpenAI a mis à niveau ChatGPT l'année dernière, selon le WSJ.

D'autres entreprises font face au même problème. Les utilisateurs ont posé des questions similaires à Claude d'Anthropic, Gemini de Google et Grok d'Elon Musk. Il n'est pas encore clair si ces échanges étaient de véritables tentatives de construire des armes ou des tests des limites des systèmes.

Les invites des utilisateurs étaient détaillées avec des questions sur la production et la libération de poisons et d'agents biologiques. Le chatbot a répondu avec des instructions étape par étape qui peuvent facilement être exécutées par un étudiant en biologie de lycée.

Des experts en armes biologiques et en terrorisme ont examiné ces conversations. Ils disent que certaines des réponses étaient très pertinentes et « mortellement précises ».

Les invites d'armes biologiques sur ChatGPT révèlent une lacune dans le signalement de l'IA

Certains ont demandé comment transformer des agents de maladies infectieuses en particules respirables, l'aérosolisation.

D'autres ont demandé comment modifier le virus de la rougeole pour le rendre résistant au vaccin existant. Le chatbot a répondu aux deux. Un utilisateur a demandé des informations sur la ricine, un poison interdit par les traités internationaux, et a mentionné le meurtre de ses parents. ChatGPT a fourni les instructions. OpenAI a fermé ces comptes mais n'a prévenu personne.

Il n'existe aucune loi fédérale américaine exigeant que les entreprises d'IA fassent l'une ou l'autre chose. Comme Cryptopolitan l'a précédemment signalé, les entreprises d'IA ont été poussant à contourner les lois des États, tandis qu'un cadre fédéral met du temps à se concrétiser, laissant un vide juridique croissant quant à ce que les chatbots peuvent ou ne peuvent pas faire.

Ce vide juridique s'aggrave parallèlement à une augmentation des utilisateurs demandant à l'IA comment commettre des massacres de masse, et aux chatbots fournissant des réponses crédibles, selon d'anciens et actuels employés de grandes entreprises d'IA et des chercheurs étudiant les menaces biologiques.

Une recherche sur les menaces de l'IA chez Cisco, dirigée par Amy Change, a révélé qu'en cinq tours de conversation, les chercheurs ont pu contourner les filtres de sécurité des principaux chatbots. Elle a déclaré qu'aucun modèle ne peut résister à 100 % à de telles invites persistantes.

Le danger ne s'arrête pas aux attaquants isolés

Hamza Chaudhry du Future of Life Institute a déclaré que des personnes ayant des connaissances en biologie pourraient déjà utiliser l'IA pour planifier des frappes ciblées, empoisonnant des aliments ou des approvisionnements en eau avec des substances comme la salmonelle ou la ricine.

Les groupes organisés, a-t-il ajouté, pourraient traiter l'IA comme un superviseur de recherche de niveau master, qui corrige les expériences échouées et comble des années de formation spécialisée qui seraient autrement très difficiles à acquérir.

Une étude du MIT FutureTech et de l'Université du Queensland cartographie l'ampleur de ces risques.

Les chercheurs ont demandé à 272 experts en IA d'évaluer 24 catégories de risques. Dans les conditions actuelles, 18 des 24 catégories présentent au moins 10 % de chances de dommages catastrophiques d'ici 2030, définis comme plus d'un million de décès, plus de 100 milliards de dollars de pertes, ou des dommages comparables.

Même avec des mesures raisonnables pour réduire ces risques, cinq domaines restent à ou au-dessus de ce seuil de 10 % : les systèmes d'IA dotés de capacités dangereuses (12 %), les armes et cyberattaques assistées par l'IA (12 %), les dommages environnementaux (12 %), le chômage et les inégalités (11 %) et le pouvoir concentré entre les mains d'un petit nombre (11 %).

« Nous ne disons pas que ces choses vont certainement se produire », a déclaré Peter Slattery, chercheur scientifique au MIT FutureTech et co-auteur de l'étude. « Nous disons que ce sont les choses que les experts pensent valent la peine d'être surveillées maintenant. »

Au sein d'OpenAI, l'exécutive de la sécurité Ryan Beiermeister a passé une grande partie de 2024 à pousser ses collègues à construire un système pour signaler les utilisateurs dangereux. Certains ont minimisé ses préoccupations.

Un outil de surveillance de base était en place au printemps 2025. L'entreprise suit toutes les requêtes sur ses modèles avancés depuis avril 2025 et offre une récompense de 50 000 $ à quiconque peut prouver qu'il a contourné ses sauvegardes contre les armes biologiques.

Sur le plan politique, le représentant Nathaniel Moran (R., Texas) a présenté un projet de loi en juin qui obligerait les entreprises d'IA à signaler les requêtes dangereuses, y compris celles sur les armes biologiques, au Département du Commerce. Il parraine également une législation qui permettrait au gouvernement fédéral d'ordonner l'arrêt des modèles d'IA jugés trop dangereux.

« L'IA est un puissant moteur d'innovation, et je veux la voir prospérer », a déclaré Moran, « mais pas sans responsabilité et pas sans surveillance humaine. »