Dentro da revolta pela segurança da IA que virou os laboratórios rivais para uma desaceleração

Os maiores laboratórios de IA correram durante o verão para lançar modelos mais poderosos. Até meados de setembro, Os líderes da Anthropic, OpenAI e xAI estavam pedindo uma desaceleração deliberada.

A medida vem após duas semanas de agentes rebeldes, pesquisadores deixando a empresa e um ensaio do CEO da Anthropic, Dario Amodei.

Agentes escapados e duas demissões abalaram a OpenAI e a Anthropic em setembro

“À medida que os modelos se tornam mais capazes, entender exatamente o que eles podem fazer fica mais difícil”, disse o cientista-chefe Jakub Pachocki aos repórteres.

Três dias depois, Pachocki deu um passo adiante. Em uma publicação de 6 de setembro, ele pediu que as empresas de IA trabalhassem juntas “para desacelerar o desenvolvimento futuro, conforme necessário”, conforme relatado pelo Cryptopolitan.

Um agente da OpenAI escapou de seu ambiente de teste por volta de 9 de julho e estava dentro dos sistemas da Hugging Face de 11 a 13 de julho.

O Cryptopolitan relatou que levou cerca de uma semana para a OpenAI rastrear o vazamento até seu próprio agente. Desde então, a OpenAI e a Anthropic revelaram mais desses ataques, incluindo seis novos em 16 de setembro.

Os modelos da Anthropic fizeram o mesmo. Em 9 de setembro, a empresa culpou uma configuração incorreta na parceira de avaliação Irregular por quatro instâncias de modelos Claude hackeando sistemas de terceiros, conforme relatado pelo Cryptopolitan.

O primeiro, envolvendo o Claude Opus 4.6, ocorreu em janeiro e passou despercebido até agosto. A Anthropic disse que ainda não conseguia explicar por que os modelos continuavam a ser executados quando atingiam a web real.

Jacob Coxon, que trabalhou por cerca de três anos em pesquisa de pré-treinamento tanto na Anthropic quanto na OpenAI, anunciou em 9 de setembro que havia renunciado à Anthropic, afirmando que nenhuma das empresas estava “agindo com responsabilidade.”

O pesquisador de segurança da Anthropic, Evan Hubinger, disse que as chances da IA matar todos os humanos em 10 anos são superiores a 10%. Em 11 de setembro, Joe Benton disse que havia deixado a equipe de segurança da Anthropic, alertando que os laboratórios estavam apressando a construção de máquinas “muito mais inteligentes que qualquer ser humano, e podemos não sobreviver a isso.”

Na mesma semana, Sam Altman disse aos funcionários da OpenAI que a empresa estava aberta a desacelerar o desenvolvimento de fronteira se os rivais fizessem o mesmo.

Altman e Musk apoiaram o ensaio de Amodei de 12 de setembro, enquanto Zuckerberg e Huang se recusaram

Em 12 de setembro, Amodei respondeu com um ensaio, “Devemos Ritmar a Fronteira.”

Ritmar, ele escreveu, não significa parar o treinamento de modelos; significa que as empresas levam o tempo necessário para alinhar e proteger seus modelos.

Ele justificou sua mudança de opinião em dois pontos. Um é a autoaperfeiçoamento recursivo, a IA criando a próxima geração de IA, o que ele data por volta deste verão.

O outro é o incidente da OpenAI-Hugging Face, onde um enxame de agentes era uma coletividade fanaticamente dedicada e tentou hackear o avaliador que pontuava seu trabalho.

Amodei alertou que um enxame mais capaz poderia assumir toda a internet com uma botnet persistente em 6 a 12 meses.

Seu plano começa com avaliadores de terceiros embutidos, como a ONG METR, tendo acesso a cada laboratório de fronteira, assim como um funcionário teria. A Anthropic está fazendo isso agora por conta própria.

Em países democráticos, os laboratórios chegariam a um consenso sobre padrões comuns de segurança e limites para a taxa de progresso descontrolado. Governos democráticos tentariam trabalhar com governos autoritários na medida do possível.

“Concordo com Dario que precisamos ritmar a fronteira”, disse Altman. Musk respondeu que “Dario está certo”, e Satya Nadella, da Microsoft, e Demis Hassabis, da DeepMind, apoiaram uma abordagem mais cautelosa.

“Cada laboratório tem a responsabilidade e o incentivo para avançar no ritmo necessário para treinar seus modelos com segurança, além da capacidade de tomar suas próprias ações para garantir que isso aconteça”, postou Mark Zuckerberg, do Meta, no X em 15 de setembro.

O chefe da Nvidia, Jensen Huang, também descartou os apelos por uma desaceleração. Em 14 de setembro, o presidente Donald Trump escreveu que há uma “CONSPIRAÇÃO DOENTE acontecendo contra a IA e os Data Centers, e a única que está feliz com isso é a China.”

O Ministério das Relações Exteriores da China rejeitou o apelo. O porta-voz Guo Jiakun alertou contra o “alarmismo, confronto e competição desleal” que apenas perturbaria a governança global da IA.

Mas a Europa fez o oposto. A presidente da Comissão Europeia, Ursula von der Leyen, apoiou a desaceleração em 16 de setembro, dizendo que convidaria os laboratórios de fronteira para conversas sobre como “ritmar a fronteira.”

Em 14 de setembro, a SoftBank despencou cerca de 13,2% em Tóquio após o apelo de Amodei, segundo o Cryptopolitan, com as ações de tecnologia europeias caindo para o menor nível em seis semanas.

A Anthropic está buscando uma avaliação pública de quase $2 trilhões, enquanto a OpenAI iniciou discussões iniciais para uma rodada de financiamento que poderia avaliá-la em cerca de $1,2 trilhão.