O próprio chefe de segurança de IA da Anthropic diz que há uma chance maior de 10% de a humanidade ser extinta

Evan Hubinger, líder de ciência de alinhamento da Anthropic, diz que a inteligência artificial tem uma chance maior de 10% de exterminar a humanidade na próxima década.

Sua estimativa veio na terça-feira, horas após o pesquisador Jacob Coxon dizer que havia renunciado à Anthropic e acusado a Anthropic e a OpenAI de assumir riscos inaceitáveis enquanto buscam sistemas mais fortes. Jacob escreveu no X: “Eles estão correndo direto para uma superinteligência autoaperfeiçoável e apostando nossas vidas.”

Segundo Jacob, aqueles que desenvolvem a tecnologia veem o risco de isso acontecer mesmo antes de 2030. Ele apontou que a IA futura pode superar os hackers humanos muito rapidamente e transformar indústrias e ter acesso a finanças e recursos.

Funcionários da Anthropic dão um número ao risco de extinção enquanto laboratórios de IA avançam para sistemas autoaperfeiçoáveis

Evan respondeu que o aviso de Jacob estava correto e disse que a Anthropic não tem uma maneira de manter a superinteligência alinhada com os objetivos humanos.

“Jacob está correto aqui – realmente acreditamos que a IA pode matar todos os humanos! Pessoalmente, acho que é >10% na próxima década. Acredito que a Anthropic está fazendo o seu melhor, mas ainda não temos um plano para resolver o alinhamento para a superinteligência e não estamos claramente no caminho certo para isso”, escreveu Evan.

Evan mais tarde disse que o perigo dos modelos atuais é “baixo”. Sua preocupação é o autoaperfeiçoamento recursivo, onde um sistema atualiza repetidamente suas próprias capacidades com pouca ajuda humana. Essa capacidade ainda não existe, embora os laboratórios de IA estejam trabalhando para alcançá-la. Ele disse que o surgimento da superinteligência por meio desse processo está acontecendo mais rápido do que o esperado.

A Anthropic fez um aviso semelhante em junho. Disse que “o autoaperfeiçoamento recursivo completo também pode aumentar os riscos de os humanos perderem o controle sobre os sistemas de IA”. A empresa acrescentou: “Se os sistemas forem capazes de construir totalmente seus próprios sucessores, as maneiras como os protegemos, monitoramos e moldamos seu comportamento se tornam muito mais importantes.”

A Anthropic e a OpenAI estão levantando dinheiro enquanto avançam para listagens públicas esperadas. Nenhuma das empresas respondeu imediatamente quando a CNBC solicitou comentário.

Elon Musk, CEO da Tesla (NASDAQ: TSLA) e SpaceX (SPCX), alerta há anos que a IA pode ameaçar a humanidade. Pesquisadores e acadêmicos levantaram preocupações semelhantes sobre as empresas perderem o controle.

Esses medos aumentaram novamente depois que um modelo OpenAI invadiu o Hugging Face, uma plataforma de desenvolvedores de código aberto, em julho. Jacob chamou incidentes como esse de “tiros de aviso” e disse que eles tornam os acordos entre laboratórios dos EUA mais realistas. Isso o tornou mais esperançoso sobre a coordenação dos EUA, mas ainda espera que uma corrida global de IA seja difícil de parar.

“Não sinto que estamos no caminho certo para impedir uma corrida global, o que pode exigir ações custosas, como uma proibição temporária de melhorar as capacidades dos modelos”, disse Jacob.

Os ganhos de codificação do Claude mudam como a Anthropic testa o software e verifica o trabalho de seus próprios engenheiros

A Anthropic disse que o Claude concluiu 76% de seus trabalhos abertos mais difíceis em maio de 2026, um aumento de 50 pontos percentuais em seis meses.

Um exemplo começou quando uma atualização rotineira causou a falha de dezenas de milhares de trabalhos de treinamento. Um engenheiro deu ao Claude contexto escrito e acesso ao cluster de computação em tempo real.

O Claude verificou os trabalhos em execução, testou uma configuração de ambiente por vez e rastreou a falha até uma flag de depuração obscura. Ele recriou o problema, provou a causa e confirmou uma correção em cerca de duas horas. A Anthropic disse que o mesmo trabalho normalmente levaria um engenheiro humano de dois a três dias.

A empresa também mede se Claude pode escrever código que outro engenheiro possa entender e desenvolver. A equipe não concorda totalmente sobre a comparação. Muitos acreditavam que o código do Claude estava abaixo do trabalho humano na Anthropic no final de 2025. A empresa agora diz que a qualidade é aproximadamente igual e espera que o Claude avance dentro de um ano.

Esse progresso mudou o processo de revisão interna da Anthropic. As alterações de código propostas agora são verificadas por um revisor Claude automatizado antes de poderem ser mescladas. Ele procura por bugs, vulnerabilidades de segurança e outros defeitos.

Um teste retrospectivo descobriu que revisar todas as mudanças passadas dessa maneira teria capturado cerca de um terço dos bugs por trás dos incidentes anteriores do Claude antes da produção. A Anthropic disse que o código original veio de engenheiros que descreveu como alguns dos melhores do mundo na construção desses sistemas, no entanto, o Claude encontrou erros que eles perderam.

A Anthropic colocou a comparação desta forma: “O código escrito pelo Claude era um pouco pior que o código escrito por humanos na Anthropic no final de 2025, está aproximadamente em paridade hoje, e esperamos que seja estritamente melhor dentro do ano.”