Amodei, da Anthropic, responde às nove acusações de crítico com decisões caras de segurança

Dario Amodei agradeceu ao crítico Nathan Calvin na quarta-feira por analisar a Anthropic, dias depois de Calvin ter ajudado a gerar uma reação negativa contra o projeto de lei de segurança de IA vazio da empresa. 

A Anthropic está a poucas semanas do lançamento de sua IPO planejada e respondeu à reação negativa prometendo reescrever partes do projeto de lei.

O que é a AEGIS Act?

Em uma publicação no X, Dario Amodei afirmou que as críticas de Nathan Calvin, que é o conselheiro geral do grupo de defesa Encode, sobre o projeto de lei de segurança de IA vazado, provisoriamente chamado de Artificial Intelligence Evaluation, Governance, and Incident Safety (AEGIS Act), vêm de “um lugar construtivo e honesto”. Ele acrescentou que a população se beneficia de ter pessoas cuja função é examinar os laboratórios de IA e agradeceu a Calvin.

Defensores da segurança continuam comparando o projeto de lei à legislação bipartidária FRONTIER Act, apresentada pelos representantes Jay Obernolte e Lori Trahan em julho.

O rascunho é supostamente mais fraco que a legislação bipartidária FRONTIER Act em dois aspectos. Primeiro, ele não estabelece padrões nem licenciamento para os avaliadores terceirizados que verificam os modelos dos laboratórios, permitindo que eles se auto-certifiquem; segundo, torna muito mais difícil bloquear um modelo perigoso.

Charlie Bullock, do LawAI, alertou que, sem licenciamento, os auditores competiriam entre si para oferecer as verificações mais superficiais pelo menor preço.

Calvin foi além, afirmando que a proposta lhe causou "raiva visceral" e provavelmente deixa ao judiciário menos poder para bloquear o desenvolvimento de modelos de fronteira do que existe na legislação atual. O senador estadual da Califórnia Scott Wiener, autor da lei estatal de IA de fronteira SB 53, escreveu no X que o plano "fica muito aquém de proteger a saúde e a segurança pública."

De acordo com o rascunho, o Departamento de Comércio poderia solicitar a um tribunal federal que pause um modelo de IA, mas apenas se houver um risco claro e iminente que resulte na morte ou lesão grave de mais de 50 pessoas, ou em danos superiores a US$ 1 bilhão. 

O dano também deve provir de uma arma biológica, de um modelo que escape ao controle do seu criador ou de um ciberataque. Nenhuma outra agência poderá suspender um modelo.

A proposta de lei também anulará algumas regras estaduais sobre divulgação, testes externos e relato de incidentes, mas mantém em vigor as leis de proteção à infância e direitos civis. Os testadores externos, chamados avaliadores, deveriam se registrar junto ao Departamento de Comércio, e os laboratórios lhes pagariam, desde que o pagamento não dependesse dos resultados. Os avaliadores teriam de comunicar ao Departamento de Comércio qualquer risco iminente no prazo de 72 horas.

Anthony Cimino, que lidera a equipe de assuntos federais da Anthropic, classificou as reclamações sobre a proposta de lei em quatro grupos: preempção, bloqueio de modelos, limiares de risco e atualizações. Ele admitiu que a redação sobre preempção "não era suficientemente precisa" e prometeu reescrevê-la. Disse que os estados devem ter papel na definição dos padrões para avaliadores e na decisão de quando um laboratório deve desativar um modelo.

Cimino afirmou que os limites do dólar e de responsabilidade civil foram retirados da legislação da Califórnia, mas concordou que provavelmente é hora de revê-los. Ele também observou que o projeto de lei já permite que um tribunal impeça o uso interno por um laboratório de um modelo perigoso, não apenas sua divulgação pública. Além disso, exige um relatório quando um modelo escapa e atinge sistemas externos.

As controvérsias da Anthropic afetarão seu IPO? 

A Anthropic respondeu à reação negativa listando o dispendioso trabalho de segurança que já pagou. Sua Roteiro de Segurança de Fronteira, atualizado em 19 de outubro, afirma que a empresa concluiu sua meta interna de testes de penetração (red-teaming) antes do prazo estabelecido para 1º de janeiro de 2027.

Um sistema automatizado de red-teaming que ela desenvolveu igualou ou superou a melhor participação humana em todos os 24 pares de classificadores de perguntas extraídos de seus prêmios relacionados a armas biológicas, vencendo 23 deles diretamente, e fez isso em 24 a 48 horas, em vez das semanas ou meses necessários pelos pesquisadores humanos.

A mesma atualização descreve novos trabalhos sobre verificação de inferência, ambientes de inferência isolados, segurança física de datacenters e segurança da plataforma. 

Separadamente, Projeto Glasswing comprometeu-se a fornecer até US$ 100 milhões em créditos de uso e US$ 4 milhões em doações para grupos de segurança de código aberto, após um modelo não lançado da Anthropic ter identificado milhares de vulnerabilidades zero-day, incluindo uma falha com 27 anos no OpenBSD. 

reportou o Cryptopolitan que a empresa prometeu destinar 5% de suas ações a um fundo de benefício público no início deste mês.

Em fevereiro, no entanto, o RSP v3.0 da Anthropic removeu o antigo compromisso de pausa, substituindo-o por Relatórios de Risco e um roteiro não vinculante.

A Anthropic apresentou seu pedido de IPO de forma confidencial à SEC em junho e busca uma avaliação acima de US$ 2 trilhões, com a oferta esperada após as eleições intermediárias nos EUA em novembro. Seu prospecto mostrou uma perda de US$ 42 bilhões em 2025, embora cerca de US$ 34 bilhões disso tenha sido um charge contábil, e uma perda operacional que se ampliou para US$ 8,06 bilhões. O registro também lista compromissos de computação de US$ 518 bilhões ao longo de dez anos, dos quais aproximadamente 80% a Anthropic não pode cancelar.