A Anthropic recua em relação às restrições ocultas de Claude Fable 5

A Anthropic pediu desculpas e revogou a política que restringiria secretamente o desempenho de Claude Fable 5 para desenvolvedores de IA. Cientistas alertaram que a política restritiva poderia tornar as funcionalidades avançadas da IA ​​acessíveis a um seleto grupo de empresas, prejudicando o avanço da ciência em nível global.

A decisão da Anthropic, anunciada em 10 de junho, tem implicações muito mais significativas do que as ações tomadas por uma única empresa. Dado seu valor de mercado de quase US$ 965 bilhões e seu iminente IPO, odent trouxe à tona uma contradição crucial no setor de IA: como as empresas que desenvolvem os melhores modelos gerenciam suas necessidades competitivas em conjunto com uma cultura de pesquisa aberta que impulsiona a inovação em todo o mundo.

Restrições ocultas da Anthropic para Claude Fable 5 provocam indignação na indústria

Com o lançamento do Claude Fable 5 em 9 de junho, a Anthropic tornou públicas quatro categorias de proteção, incluindo cibersegurança, biologia, química e pesquisa em IA. Três dessas categorias funcionavam de maneira semelhante. Sempre que uma consulta sensível era detectada, o sistema a rejeitava completamente ou redirecionava o usuário para o Claude Opus 4.8, sua antiga solução mais completa, com um alerta aberto.

No entanto, a quarta categoria diferia das demais. Ao ser confrontado com consultas para IA emergente, o Fable 5 comprometia a qualidade de sua resposta sem que o usuário percebesse. De acordo com a reportagem da Fortune sobre o anúncio, a empresa descreveu intervenções para prejudicar o desempenho do sistema sem revelar nenhum detalhe. Os detalhes completos podem ser encontrados na ficha técnica do sistema da Anthropic, que possui 319 páginas.

Segundo a revista Anthropic, a probabilidade dessa restrição entrar em vigor era de cerca de 0,03%. Mas o princípio alarmou os pesquisadores muito mais do que a porcentagem.

"Fizemos a escolha errada e pedimos desculpas por não termos encontrado o equilíbrio certo", explicou a Anthropic, segundo relatos.

Críticos afirmam que as restrições impostas a Claude Fable 5 ameaçam a pesquisa independentedent IA

Essa crítica veio de pessoas que raramente concordam. Apoiadores do código aberto, pesquisadores de segurança que trabalham com IA e até ex-funcionários da Anthropic se manifestaram poucas horas após a publicação da ficha do sistema.

Will Brown, líder de pesquisa da startup de IA Prime Intellect, afirmou que a política dava a impressão de que a empresa estava "começando a puxar a escada atrás de si". Ele acrescentou que há um número crescente de empresas avaliando a segurança e a confiabilidade de sistemas de ponta. A degradação de desempenho oculta poderia potencialmente sabotar o processo de verificação delas.

Nathan Lambert, um pesquisador de modelos abertos que já liderou o trabalho no Allen Institute for AI, foi ainda maistronem sua declaração. Ele afirmou no X que a política "pinta a Anthropic claramente como anticientífica e, portanto, contrária ao progresso e à segurança".

Jeremy Howard, cofundador da AnswerDotAI, enquadrou a questão como uma disputa de poder. Os próprios pesquisadores da Anthropic ainda poderiam usar o modelo irrestrito internamente, argumentou Howard, o que significa que a fronteira da IA ​​continuaria avançando enquanto pesquisadores externos ficariam para trás. Ele afirmou que “a fronteira da IA ​​avança e o desequilíbrio de poder aumenta”

Até mesmo ex-funcionários da Anthropic se manifestaram. Behnam Neyshabur, que anteriormente co-liderou a iniciativa de cientistas de IA da empresa, publicou que restringir essas capacidades "retarda fundamentalmente o progresso científico e tecnológico e é negativo para a humanidade"

Como isso poderia afetar o IPO da Anthropic?

O incidentedent em um período muito delicado para a Anthropic. A empresa confidencialmentedentos documentos para seu IPO em 1º de junho, captando US$ 65 bilhões com uma avaliação implícita de US$ 965 bilhões. A avaliação, neste caso, depende significativamente da confiança dos clientes corporativos e da comunidade de pesquisa.

Independentemente da controvérsia sobre a pesquisa em IA, o lançamento de Fable 5 enfrentou críticas em outro aspecto. Os robustos filtros biológicos empregados pelo modelo o impediram de responder a perguntas sobre membranas celulares e mitocôndrias, assuntos geralmente ensinados no ensino médio. Segundo relatos, foi impossível fazer o modelo descrever como funcionam as vacinas de mRNA e o que causa a rinite alérgica, embora não tenha tido problemas para discutir TNT e os riscos de senhas.

A Microsoft também restringiu o uso do Fable 5 por seus funcionários devido a problemas de retenção de dados relacionados às novas políticas de retenção da classe Mythos, implementadas pela Anthropic. O período de retenção para avisos e resultados é de 30 dias por questões de segurança e confiança, com o conteúdo sinalizado sendo retido por até dois anos.

Qual o próximo passo?

Com a política alterada, a Anthropic afirmou que o Fable 5 tornará visíveis suas salvaguardas para o desenvolvimento de IA. Caso o sistema detecte que o usuário está conduzindo pesquisas de ponta em IA, poderá negar a solicitação ou alternar para um sistema diferente, notificando o usuário em ambos os casos.

A Anthropic reconheceu a necessidade de compensação. Como a salvaguarda agora é visível, a empresa não tem escolha a não ser utilizá-la de forma mais ampla. Isso significa que mais consultas inócuas seriam bloqueadas. A empresa afirmou estar trabalhando para aprimorar a precisão do classificador. Este caso trouxe à tona uma questão de magnitude ainda maior. Na medida em que as capacidades dos modelos de IA aumentam, os custos de treinamento também aumentam, e a tentação de limitar o acesso de concorrentes a essas ferramentas cresce. Se a rápida reversão da Anthropic estabelecerá umdent ou apenas adiará a próxima tentativa de restrição secreta dependerá de como o restante do setor reagirá.