- A Anthropic pediu desculpas e abandonou uma política oculta do Claude Fable 5 que reduzia silenciosamente o desempenho em algumas consultas avançadas de pesquisa com IA após críticas generalizadas.
- Pesquisadores alertaram que as restrições poderiam concentrar capacidades de IA em poucas empresas e retardar o progresso científico independente.
- A controvérsia surgiu enquanto a Anthropic se prepara para uma possível oferta pública inicial (IPO) com uma avaliação próxima de US$ 965 bilhões, colocando seu relacionamento com a comunidade de pesquisa sob escrutínio.
A Anthropic se desculpou e retirou a política que teria restringido secretamente o desempenho do Claude Fable 5 para desenvolvedores de IA. Cientistas alertaram que a política restritiva poderia tornar as funcionalidades avançadas da IA acessíveis a um seleto grupo de empresas, dificultando o crescimento da ciência globalmente.
A decisão da Anthropic, que ocorreu em 10 de junho, tem implicações muito mais significativas do que as ações tomadas por apenas uma empresa. Dada sua avaliação de quase US$ 965 bilhões e sua iminente oferta pública inicial (IPO), o incidente revelou uma contradição crucial dentro do setor de IA: como as empresas que desenvolvem os melhores modelos gerenciam suas necessidades competitivas junto com uma cultura de pesquisa aberta que impulsiona a inovação em todo o mundo.
As restrições ocultas do Claude Fable 5 da Anthropic provocam indignação na indústria
Com o lançamento de Claude Fable 5 em 10 de junho 9, a Anthropic tornou públicas quatro categorias de proteções, incluindo cibersegurança, biologia, química e pesquisa em IA. Três dessas categorias funcionavam de maneira semelhante. Sempre que uma consulta sensível era detectada, o sistema a rejeitava completamente ou encaminhava o usuário para o Claude Opus 4.8, sua antiga oferta principal, com um alerta aberto.
No entanto, a quarta categoria diferia das outras. Ao ser confrontado com consultas sobre IA de fronteira, o Fable 5 comprometia a qualidade de sua saída sem informar o usuário. De acordo com o relatório da Fortune sobre o anúncio, a empresa delineou intervenções para dificultar o desempenho do sistema sem revelar nenhum detalhe. Os detalhes completos podem ser encontrados em o cartão do sistema da Anthropic de 319 páginas.
De acordo com a Anthropic, a probabilidade dessa restrição ser acionada era de cerca de 0,03%. Mas o princípio alarmou os pesquisadores muito mais do que a porcentagem.
“Cometemos o trade-off errado e pedimos desculpas por não acertar o equilíbrio”, explicou a Anthropic, conforme relatado.
Críticos afirmam que as restrições do Claude Fable 5 ameaçaram a pesquisa independente de IA
Essa crítica veio de pessoas que raramente concordam. Defensores do código aberto, pesquisadores de segurança que trabalham com IA e até ex-funcionários da Anthropic reagiram dentro de horas da publicação do cartão do sistema.
Will Brown, líder de pesquisa da startup de IA Prime Intellect, afirmou que a política parecia a empresa “começando a puxar a escada para cima atrás de si”. Ele acrescentou que há um número crescente de empresas avaliando a segurança e a confiabilidade dos sistemas de fronteira. A degradação oculta do desempenho poderia potencialmente sabotar seu processo de verificação.
Nathan Lambert, pesquisador de modelos abertos que anteriormente liderou o trabalho no Allen Institute for AI, foi ainda mais enfático em sua declaração. Ele disse no X que a política “pinta a Anthropic claramente como anti-ciência e, portanto, anti-progresso e anti-segurança.”
Jeremy Howard, co-fundador da AnswerDotAI, enquadrou a questão como uma captura de poder competitiva. Os próprios pesquisadores da Anthropic ainda poderiam usar o modelo sem restrições internamente, argumentou Howard, o que significaria que a fronteira continuaria avançando enquanto os pesquisadores externos ficariam para trás. Ele afirmou que “a fronteira da IA avança e o desequilíbrio de poder aumenta.”
Até ex-funcionários da Anthropic se manifestaram. Behnam Neyshabur, que anteriormente co-liderou a iniciativa de cientistas de IA da empresa, postou que restringir essas capacidades “retarda fundamentalmente o progresso científico e tecnológico e é líquido negativo para a humanidade.”
Como isso poderia afetar o IPO da Anthropic?
O incidente ocorreu em um período muito delicado para a Anthropic. A empresa arquivou confidencialmente documentos de IPO em 10 de junho 1, levantando $65 bilhões em uma avaliação implícita de $965 bilhões. A avaliação neste caso depende significativamente da confiança dos clientes empresariais e da comunidade de pesquisa.
Separadamente da controvérsia sobre pesquisa em IA, o lançamento do Fable 5 enfrentou críticas em outro aspecto. Os robustos filtros de biologia empregados pelo modelo impediram que ele respondesse a perguntas sobre membranas celulares e mitocôndrias, que são geralmente assuntos ensinados no ensino médio. De acordo com relatos, era impossível fazer o modelo descrever como as vacinas de mRNA funcionam e o que causa a febre do feno, embora não tivesse dificuldade em discutir TNT e riscos de senhas.
A Microsoft também restringiu sua equipe de usar o Fable 5 devido a problemas de retenção de dados relacionados às novas políticas de retenção da classe Mythos introduzidas pela Anthropic. O período de retenção para prompts e saídas é definido como 30 dias para fins de confiança e segurança, com o conteúdo sinalizado retido por até dois anos.
O que vem a seguir?
Com a política emendada, a Anthropic disse que o Fable 5 tornará visíveis suas salvaguardas de desenvolvimento de IA. Caso o sistema descubra que o usuário está conduzindo pesquisa de IA de fronteira, ele pode negar sua solicitação ou mudar para um sistema diferente e notificar o usuário em ambos os casos.
A Anthropic reconheceu um trade-off. Como a salvaguarda agora é visível, a empresa não tem escolha a não ser empregá-la de forma mais ampla. Isso significa que consultas mais inocentes serão bloqueadas. A empresa disse que está trabalhando para melhorar a precisão do classificador. Este caso trouxe à tona uma questão de magnitude ainda maior. Na medida em que as capacidades dos modelos de IA aumentam, os custos de treinamento sobem e a tentação de limitar o acesso de partes concorrentes a essas ferramentas aumenta. Se a rápida reversão da Anthropic estabelece um precedente ou apenas adia a próxima tentativa de restrição oculta dependerá de como o resto da indústria responder.
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Perguntas Frequentes
Qual era a política secreta de pesquisa com IA da Anthropic?
A Anthropic projetou o Claude Fable 5 para degradar invisivelmente a qualidade de suas respostas ao detectar que os usuários estavam trabalhando em tarefas de desenvolvimento de IA de fronteira, diferentemente de outras salvaguardas que recusavam ou redirecionavam solicitações de forma visível. A empresa reverteu a política após um amplo backlash e afirmou que futuras salvaguardas nesta área serão visíveis aos usuários.
Por que os pesquisadores se opuseram às restrições?
Críticos argumentaram que a política permitiria que os próprios pesquisadores da Anthropic usassem modelos sem restrições, enquanto cientistas externos receberiam resultados degradados, concentrando capacidades de IA em poucos laboratórios grandes e potencialmente minando empresas de avaliação de segurança de terceiros que testam modelos de fronteira.
Como a Anthropic respondeu à controvérsia?
A Anthropic pediu desculpas, afirmando que 'fizemos a troca errada', e alterou a política para que as salvaguardas do desenvolvimento de IA agora sejam visíveis aos usuários, o que significa que o modelo recusará abertamente solicitações ou redirecionará os usuários para um modelo menos capaz, em vez de enfraquecer silenciosamente suas respostas.
Aviso. As informações fornecidas não constituem aconselhamento de negociação. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta a um profissional qualificado antes de tomar qualquer decisão de investimento.
Ashish Kumar
Ashish Kumar é jornalista de cripto e finanças com oito anos de experiência em redações. Ele cobre o que acontece com os mercados de cripto, regulação, DeFi e ecossistemas de exchanges. Trabalhou na Coingape, Todayq e Newsroompost. Ashish possui pós-graduação em Jornalismo Inglês pelo IIMC. Também entrevistou figuras do setor, incluindo Arthur Hayes, Yat Siu, Austin Federa e outros.
