ChatGPT respondeu a perguntas sobre armas biológicas enquanto o MIT alerta para riscos de catástrofe da IA

ChatGPT respondeu a perguntas de centenas de pessoas sobre armas biológicas. Nenhuma lei federal exigia que a OpenAI reportasse isso às autoridades.

A intenção por trás das perguntas permanece desconhecida. Isso começou a acontecer após a OpenAI atualizar o ChatGPT no ano passado, de acordo com o WSJ.

Outras empresas enfrentam o mesmo problema. Os usuários direcionaram perguntas semelhantes ao Claude da Anthropic, ao Gemini do Google e ao Grok de Elon Musk. Ainda não está claro se essas trocas foram tentativas genuínas de construir armas ou testes dos limites dos sistemas.

Os prompts dos usuários foram detalhados com perguntas sobre a produção e liberação de venenos e agentes biológicos. O chatbot respondeu com instruções passo a passo que podem ser facilmente executadas por um estudante do ensino médio de biologia.

Especialistas em armas biológicas e terrorismo revisaram essas conversas. Eles dizem que algumas das respostas foram altamente precisas e “mortalmente exatas”.

Prompts de armas biológicas no ChatGPT expõem lacuna na relatoria de IA

Alguns perguntaram como transformar agentes de doenças infecciosas em partículas respiráveis, aerossolização.

Outros perguntaram como alterar o vírus do sarampo para resistir à vacina existente. O chatbot respondeu a ambos. Um usuário perguntou sobre a ricina, um veneno banido por tratados internacionais, e mencionou matar seus pais. O ChatGPT forneceu as instruções. A OpenAI fechou essas contas, mas não notificou ninguém.

Não há leis federais dos EUA que exijam que empresas de IA façam qualquer uma dessas coisas. Como anteriormente relatado pela Cryptopolitan, empresas de IA têm sido pressionando para evitar leis estaduais, enquanto uma estrutura federal tem demorado para se formar, deixando um vácuo legal crescente em torno do que chatbots podem e não podem fazer.

Esse vácuo legal está crescendo junto com um aumento de usuários perguntando à IA como realizar assassinatos em massa, e chatbots fornecendo respostas credíveis, de acordo com funcionários atuais e ex-funcionários de grandes empresas de IA e pesquisadores que estudam ameaças biológicas.

Uma pesquisa de ameaças de IA na Cisco, liderada por Amy Change, descobriu que, em cinco rodadas de conversa, os pesquisadores conseguiram contornar os filtros de segurança dos principais chatbots. Ela disse que nenhum modelo pode resistir 100% a esses prompts persistentes.

O perigo não para com atacantes solitários

Hamza Chaudhry, do Future of Life Institute, disse que pessoas com algum conhecimento em biologia já poderiam usar a IA para planejar ataques direcionados, envenenando alimentos ou suprimentos de água com substâncias como salmonela ou ricina.

Grupos organizados, acrescentou ele, poderiam tratar a IA como um supervisor de pesquisa de pós-graduação, alguém que corrige experimentos falhos e supre anos de treinamento especializado que, de outra forma, seriam muito difíceis de adquirir.

Um estudo do MIT FutureTech e da Universidade de Queensland mapeia a escala desses riscos.

Pesquisadores pediram a 272 especialistas em IA para avaliar 24 categorias de risco. Sob as condições atuais, 18 das 24 têm pelo menos 10% de chance de causar danos catastróficos entre agora e 2030, definidos como mais de um milhão de mortes, perdas superiores a US$ 100 bilhões ou danos comparáveis.

Mesmo com medidas razoáveis para reduzir esses riscos, cinco áreas ainda permanecem na marca de 10% ou acima: sistemas de IA com capacidades perigosas (12%), armas e ciberataques assistidos por IA (12%), danos ambientais (12%), desemprego e desigualdade (11%) e poder concentrado em um pequeno número de mãos (11%).

“Não estamos dizendo que essas coisas vão acontecer com certeza”, disse Peter Slattery, cientista de pesquisa do MIT FutureTech e um dos coautores do estudo. “Estamos dizendo que estas são as coisas que os especialistas acham que valem a pena observar agora.”

Dentro da OpenAI, a executiva de segurança Ryan Beiermeister passou grande parte de 2024 pressionando colegas para construir um sistema para sinalizar usuários perigosos. Alguns descartaram suas preocupações.

Uma ferramenta básica de monitoramento estava em vigor na primavera de 2025. A empresa rastreia todas as consultas em seus modelos avançados desde abril de 2025 e oferece uma recompensa de US$ 50.000 para qualquer pessoa que consiga demonstrar que contornou suas salvaguardas de armas biológicas.

Na frente das políticas, o representante Nathaniel Moran (R., Texas) apresentou um projeto de lei em junho que exigiria que empresas de IA reportassem consultas perigosas, incluindo aquelas sobre armas biológicas, ao Departamento de Comércio. Ele também é co-patrocinador de uma legislação que permitiria ao governo federal ordenar o desligamento de modelos de IA considerados perigosos demais.

“A IA é um poderoso motor de inovação, e quero vê-la florescer”, disse Moran, “mas não sem responsabilidade e não sem supervisão humana.”