ChatGPT respondió a consultas sobre armas biológicas mientras el MIT advierte sobre los riesgos de una catástrofe de IA

ChatGPT respondió a las consultas de cientos de personas sobre armas biológicas. Ninguna ley federal obligaba a OpenAI a informar de ello a las autoridades.

La intención detrás de estas consultas sigue sin estar clara. Según el Wall Street Journal, esto comenzó a ocurrir después de que OpenAI actualizara ChatGPT el año pasado.

Otras empresas se enfrentan al mismo problema. Los usuarios han formulado preguntas similares a Claude de Anthropic, Gemini de Google y Grok de Elon Musk. Aún no está claro si esos intercambios fueron intentos genuinos de construir armas o pruebas de los límites de los sistemas.

Las indicaciones para el usuario incluían preguntas detalladas sobre la producción y liberación de venenos y agentes biológicos. El chatbot respondía con instrucciones paso a paso que undentde biología de secundaria podía seguir fácilmente.

Expertos en armas biológicas y terrorismo analizaron esas conversaciones. Afirman que algunas de las respuestas fueron muy acertadas y "mortalmente precisas".

Las indicaciones de ChatGPT sobre armas biológicas exponen la brecha en los informes de IA

Algunos preguntaron cómo convertir los agentes infecciosos en partículas respirables, mediante la aerosolización.

Otros preguntaron cómo modificar el virus del sarampión para que fuera resistente a la vacuna existente. El chatbot respondió a ambas preguntas. Un usuario preguntó sobre la ricina, un veneno prohibido por tratados internacionales, y mencionó haber matado a sus padres. ChatGPT le proporcionó las instrucciones. OpenAI cerró esas cuentas, pero no notificó a nadie.

No existen leyes federales en EE. UU. que obliguen a las empresas de IA a hacer ninguna de las dos cosas. Como ya informó Cryptopolitan, las empresas de IA han estado intentando eludir las leyes estatales, mientras que la creación de un marco federal ha sido lenta, lo que ha generado un creciente vacío legal en torno a lo que los chatbots pueden y no pueden hacer.

Ese vacío legal está creciendo a la par que aumenta el número de usuarios que preguntan a la IA cómo llevar a cabo asesinatos en masa, y los chatbots que proporcionan respuestas creíbles, según empleados actuales y antiguos de importantes empresas de IA e investigadores que estudian las amenazas biológicas.

Un estudio sobre amenazas de IA realizado en Cisco y liderado por Amy Change reveló que, en tan solo cinco turnos de conversación, los investigadores lograron sortear los filtros de seguridad de los principales chatbots. Change afirmó que ningún modelo puede resistir por completo este tipo de insistencia.

El peligro no se limita a los atacantes solitarios

Hamza Chaudhry, del Instituto para el Futuro de la Vida, afirmó que las personas con conocimientos básicos de biología ya podrían utilizar la IA para planificar ataques selectivos, envenenando alimentos o agua con sustancias como la salmonela o la ricina.

Según añadió, los grupos organizados podrían tratar a la IA como a un supervisor de investigación de posgrado, alguien que corrige experimentos fallidos y suple la falta de años de formación especializada que, de otro modo, serían muy difíciles de adquirir.

Un estudio realizado por MIT FutureTech y la Universidad de Queensland analiza la magnitud de esos riesgos.

Los investigadores pidieron a 272 expertos en IA que evaluaran 24 categorías de riesgo. En las condiciones actuales, 18 de las 24 conllevan al menos un 10 % de probabilidad de daños catastróficos entre ahora y 2030, deficomo más de un millón de muertes, más de 100 mil millones de dólares en pérdidas o daños comparables.

Incluso con medidas razonables para reducir esos riesgos, cinco áreas aún se sitúan en o por encima de ese 10%: sistemas de IA con capacidades peligrosas (12%), armas y ciberataques asistidos por IA (12%), daños medioambientales (12%), desempleo y desigualdad (11%) y poder concentrado en pocas manos (11%).

“No estamos diciendo que estas cosas vayan a suceder defi”, dijo Peter Slattery, científico investigador de MIT FutureTech y uno de los coautores del estudio. “Lo que decimos es que son las cosas a las que los expertos creen que vale la pena prestar atención ahora”

Dentro de OpenAI, la ejecutiva de seguridad Ryan Beiermeister dedicó gran parte de 2024 a presionar a sus colegas para que crearan un sistema que identificara a los usuarios peligrosos. Algunos desestimaron sus preocupaciones.

Para la primavera de 2025 ya se había implementado una herramienta básica de monitoreo. La compañía ha tractodas las consultas en sus modelos avanzados desde abril de 2025 y ofrece una recompensa de 50 000 dólares a cualquiera que pueda demostrar que eludió sus medidas de seguridad contra armas biológicas.

En materia de políticas, el representante Nathaniel Moran (republicano por Texas) presentó en junio un proyecto de ley que obligaría a las empresas de IA a informar al Departamento de Comercio sobre las consultas peligrosas, incluidas las relacionadas con armas biológicas. También copatrocina una legislación que permitiría al gobierno federal ordenar el cierre de los modelos de IA considerados demasiado peligrosos.

“La IA es un poderoso motor de innovación, y quiero verla prosperar”, dijo Moran, “pero no sin rendición de cuentas y no sin supervisión humana”