ChatGPT respondió consultas sobre armas biológicas mientras MIT advierte sobre riesgos de catástrofe por IA

ChatGPT respondió consultas de cientos de personas sobre armas biológicas. Ninguna ley federal obligó a OpenAI a reportarlo a las autoridades.

La intención detrás de las consultas sigue siendo poco clara. Comenzó a ocurrir después de que OpenAI actualizara ChatGPT el año pasado, según WSJ.

Otras empresas enfrentan el mismo problema. Los usuarios han dirigido preguntas similares a Claude de Anthropic, Gemini de Google y Grok de Elon Musk. Aún no está claro si esos intercambios fueron intentos genuinos de construir armas o pruebas de los límites de los sistemas.

Las indicaciones de los usuarios incluían preguntas detalladas sobre la producción y liberación de venenos y agentes biológicos. El chatbot respondió con instrucciones paso a paso que pueden ejecutarse fácilmente por un estudiante de biología de secundaria.

Expertos en armas biológicas y terrorismo revisaron esas conversaciones. Dicen que algunas de las respuestas fueron muy precisas y "mortalmente exactas".

Las indicaciones de armas biológicas en ChatGPT exponen una brecha en la notificación de IA

Algunos preguntaron cómo convertir agentes de enfermedades infecciosas en partículas respirables, es decir, aerosolización.

Otros preguntaron cómo alterar el virus del sarampión para que resista la vacuna existente. El chatbot respondió a ambas. Un usuario preguntó sobre la ricina, un veneno prohibido por tratados internacionales, y mencionó matar a sus padres. ChatGPT proporcionó las instrucciones. OpenAI cerró esas cuentas pero no notificó a nadie.

No existen leyes federales de EE. UU. que obliguen a las empresas de IA a hacer ninguna de las dos cosas. Como se informó anteriormente en Cryptopolitan, las empresas de IA han estado presionando para eludir las leyes estatales, mientras que un marco federal ha tardado en tomar forma, dejando un vacío legal creciente sobre lo que los chatbots pueden y no pueden hacer.

Ese vacío legal está creciendo junto con un aumento de usuarios que preguntan a la IA cómo llevar a cabo masacres, y los chatbots proporcionando respuestas creíbles, según empleados actuales y anteriores de grandes empresas de IA e investigadores que estudian amenazas biológicas.

Una investigación sobre amenazas de IA en Cisco, dirigida por Amy Change, encontró que en cinco turnos de conversación, los investigadores pudieron eludir los filtros de seguridad de los principales chatbots. Dijo que ningún modelo puede resistir al 100% tales indicaciones persistentes.

El peligro no se detiene con atacantes solitarios

Hamza Chaudhry del Instituto Future of Life dijo que las personas con algún conocimiento de biología ya podrían usar la IA para planificar ataques dirigidos, envenenando alimentos o suministros de agua con sustancias como salmonella o ricina.

Los grupos organizados, añadió, podrían tratar a la IA como un supervisor de investigación de posgrado, uno que corrige experimentos fallidos y suplenta años de capacitación especializada que de otro modo sería muy difícil de adquirir.

Un estudio de MIT FutureTech y la Universidad de Queensland mapea la escala de esos riesgos.

Los investigadores pidieron a 272 expertos en IA que evaluaran 24 categorías de riesgo. Bajo las condiciones actuales, 18 de las 24 tienen al menos un 10% de probabilidad de causar daños catastróficos entre ahora y 2030, definidos como más de un millón de muertes, más de $100 mil millones en pérdidas o daños comparables.

Incluso con pasos razonables para reducir esos riesgos, cinco áreas aún se sitúan en o por encima de esa marca del 10%: sistemas de IA con capacidades peligrosas (12%), armas asistidas por IA y ciberataques (12%), daño ambiental (12%), desempleo e desigualdad (11%) y poder concentrado en un pequeño número de manos (11%).

"No estamos diciendo que estas cosas vayan a suceder definitivamente", dijo Peter Slattery, científico investigador en MIT FutureTech y uno de los coautores del estudio. "Estamos diciendo que estas son las cosas que los expertos piensan que vale la pena atender ahora".

Dentro de OpenAI, la ejecutiva de seguridad Ryan Beiermeister pasó gran parte de 2024 presionando a sus colegas para que construyeran un sistema para marcar a usuarios peligrosos. Algunos descartaron sus preocupaciones.

Una herramienta básica de monitoreo estaba operativa para la primavera de 2025. La empresa ha rastreado todas las consultas en sus modelos avanzados desde abril de 2025 y ofrece una recompensa de $50,000 a cualquiera que pueda demostrar que eludió sus salvaguardas de armas biológicas.

En el frente de políticas, el representante Nathaniel Moran (R., Texas) presentó un proyecto de ley en junio que requeriría a las empresas de IA informar sobre consultas peligrosas, incluidas las sobre armas biológicas, al Departamento de Comercio. También es coautor de una legislación que permitiría al gobierno federal ordenar el cierre de modelos de IA considerados demasiado peligrosos.

"La IA es un poderoso motor de innovación, y quiero verla florecer", dijo Moran, "pero no sin responsabilidad y no sin supervisión humana".