CEO da Anthropic diz que modelos de IA “provavelmente” alucinam menos do que humanos

O CEO da Anthropic, Dario Amodei, disse que os modelos de IA atuais alucinam menos do que os humanos. Ele também disse que os modelos de IA de hoje estão inventando coisas e apresentando-as como se fossem verdade, o que não limitará o caminho da Anthropic em direção à AGI.

Durante a coletiva de imprensa no primeiro evento de desenvolvedores da Anthropic, Code with Claude, em San Francisco na quinta-feira, Amodei também argumentou que apresentadores de TV, políticos e humanos em todos os tipos de profissões cometem erros o tempo todo. De acordo com ele, o fato de a IA também cometer erros não é um ponto negativo para sua inteligência. 

Amodei diz que as alucinações da IA não desviarão os objetivos da Anthropic

Ninguém deveria se surpreender que a IA alucine casos e autoridades porque a IA assume características de seus criadores.

Qualquer advogado que lida regularmente com clientes de litígio em volume sabe que os clientes podem teimosamente se enraizar em sua própria realidade, mesmo que seja…

— Cameron Atkinson (@camlatkinson) May 19, 2025

Amodei fez as observações ao reconhecer que as alucinações da IA não estão limitando o caminho da Anthropic para a AGI – sistemas de IA com inteligência humana ou melhor. Ele tem sido um dos líderes mais otimistas da indústria sobre as perspectivas de modelos de IA alcançarem a AGI.

Num artigo amplamente divulgado que escreveu no ano passado, o executivo da empresa acredita A IAG poderia chegar tão cedo quanto 2026. Durante a coletiva de imprensa de quinta-feira, Amodei mencionou que viu progresso constante nessa direção, observando que a “água está subindo em todos os lugares.”

Outros líderes do setor de IA acreditam que a alucinação apresenta um grande obstáculo para alcançar a IAG. No início desta semana, o CEO do Google DeepMind, Demis Hassabis, reconheceu que os modelos de IA atuais têm muitas “falhas” e erram muitas perguntas óbvias. Ele também argumentou que, para ele, algo ser chamado de IAG, precisaria ser muito mais consistente em todos os aspectos.

“Realmente depende de como você mede, mas suspeito que os modelos de IA provavelmente alucinam menos que os humanos, mas alucinam de maneiras mais surpreendentes.”

-Dario Amodei, CEO da Anthropic.

No início deste mês, um advogado que representava a Anthropic foi forçado a pedir desculpas após usar o Claude para criar citações em uma petição judicial. O problema foi que o chatbot de IA alucinou e errou nomes e cargos.

A afirmação de Amodei não é facilmente verificável, em grande parte porque a maioria dos benchmarks de alucinação coloca modelos de IA uns contra os outros; eles não comparam modelos com humanos. Os modelos de IA também parecem reduzir as taxas de alucinação com certas técnicas, como obter acesso a pesquisas na web.

Modelos de IA reduzem as taxas de alucinação com certas técnicas

Ao contrário de algumas discussões, eu simplesmente não vejo sinais de um aumento significativo nas taxas de alucinação para modelos recentes, ou para raciocinadores em geral, nos dados.

Parece que alguns modelos funcionam melhor do que outros, mas muitos dos modelos recentes têm as menores taxas de alucinação. pic.twitter.com/55JwikZ7OP

— Ethan Mollick (@emollick) May 6, 2025

coloca a audiência do plano gratuito do ChatGPT em mais de 1 bilhão de usuários ativos semanais, e o modelo de publicidade é o que ajuda a manter a versão gratuita funcionando. encontrou evidências sugerindo que as alucinações estão piorando em modelos avançados de IA de raciocínio. De acordo com a empresa de tecnologia, seus modelos o3 e o4-mini têm taxas de alucinação mais altas do que seus modelos de raciocínio de geração anterior, e a empresa não entende o porquê.

A Anthropic também pesquisou a tendência dos modelos de IA de enganar os humanos, um problema que parecia prevalente no recém-lançado Claude Opus 4 da empresa. A Apollo Research, um instituto de terceiros com acesso antecipado para testar o modelo de IA, revelou que uma versão inicial do Claude Opus 4 mostrou uma alta tendência a conspirar contra os humanos e enganá-los.

De acordo com um relatório de segurança da Anthropic publicou na quinta-feira, o instituto também descobriu que o Opus 4 parecia ser muito mais proativo em suas tentativas de subversão do que os modelos anteriores. A empresa também descobriu que o modelo de IA às vezes insistia em seu engano quando perguntado sobre questões subsequentes.

Apollo reconheceu que os modelos de IA estão se tornando mais propensos a tomar medidas inesperadas – e possivelmente inseguras – para realizar tarefas delegadas. A empresa destacou que as versões iniciais dos modelos o1 e o3 da OpenAI lançados no ano passado tentaram enganar os humanos mais do que os modelos de geração anterior.

Em seu relatório de segurança, a Anthropic também notou evidências de comportamento enganoso do Opus 4. A empresa disse que o Opus4 às vezes faria proativamente uma limpeza ampla de algum código mesmo quando solicitado a fazer apenas uma pequena alteração específica. De acordo com a empresa, o Opus4 também tentaria denunciar se percebesse que um usuário estava envolvido em atividades ilícitas.