Google, OpenAI e Meta soam alarme sobre os pensamentos prejudiciais ocultos da IA

Mais de 40 pesquisadores de IA da OpenAI, DeepMind, Google, Anthropic e Meta publicaram um artigo sobre uma ferramenta de segurança chamada monitoramento de cadeia de pensamento para tornar a IA mais segura. 

O artigo publicado na terça-feira descreve como os modelos de IA, como os chatbots de hoje, resolvem problemas dividindo-os em etapas menores, conversando sobre cada etapa em linguagem simples para que possam reter detalhes e lidar com perguntas complexas.

“Sistemas de IA que ‘pensam’ em linguagem humana oferecem uma oportunidade única para a segurança da inteligência artificial: podemos monitorar suas cadeias de pensamento (CoT) quanto à intenção de se comportar mal”, diz o artigo.

Ao examinar cada etapa detalhada do pensamento, os desenvolvedores podem detectar quando algum modelo começa a explorar lacunas de treinamento, distorcer os fatos ou seguir comandos perigosos.

De acordo com o estudo, se a cadeia de pensamento da IA der errado, você pode pará-la, empurrá-la para etapas mais seguras ou sinalizá-la para uma análise mais detalhada. Por exemplo, a OpenAI usou isso para detectar momentos em que o raciocínio oculto da IA dizia “Vamos Hackear”, embora isso nunca aparecesse em sua resposta final.

A IA pode aprender a esconder seus pensamentos

O estudo alerta que a transparência passo a passo poderia desaparecer se o treinamento recompensasse apenas a resposta final. Modelos futuros podem parar de mostrar raciocínio legível por humanos, e IAs realmente avançadas podem até aprender a esconder seu processo de pensamento quando sabem que estão sendo observadas.

Além disso, os desenvolvedores devem verificar e registrar regularmente quanto do raciocínio da IA está visível em cada etapa e tornar essa transparência uma regra de segurança central ao construir e compartilhar modelos.

Esta iniciativa segue experimentos internos em laboratórios líderes, Anthropic, Google, OpenAI e xAI, onde as equipes solicitam que os modelos expliquem cada etapa do pensamento.

Embora examinar o pensamento passo a passo tenha melhorado o entendimento e o desempenho, também revelou casos em que a resposta final da IA não corresponde ao que realmente estava acontecendo internamente.

Tais inconsistências destacam uma lacuna em nossa compreensão da tomada de decisão da IA, uma preocupação que pode se intensificar à medida que os sistemas ganham maior autonomia.

O raciocínio da IA filtrada levanta preocupações sobre transparência e confiança

Como disse Jack Clark, co-fundador da Anthropic, ao Financial Times, rastros introspectivos ricos serão essenciais para avaliar modelos em domínios de alto risco, incluindo pesquisa em biotecnologia.

Os usuários regulares recebem um resumo editado do pensamento da IA, partes perigosas ou confusas são cortadas, enquanto os engenheiros da empresa podem ver a cadeia de pensamento completa para identificar e corrigir problemas.

“Uma coisa incrível sobre a interpretabilidade da cadeia de pensamento é que ela aconteceu principalmente de graça”, disse Bowen Baker, cientista de pesquisa na OpenAI.

“Treinamos esses modelos não com o objetivo de torná-los interpretáveis. Treinamos porque queríamos os melhores modelos de raciocínio possíveis que pudessem resolver problemas complexos”, acrescentou Baker. “Descobrimos em nosso trabalho recente que você pode lê-los e encontrar evidências de mau comportamento do modelo e usar isso para ver onde e por que ele está se comportando mal.”

A cadeia de pensamento da IA é realmente confiável?

Às vezes, uma análise mais detalhada pode encontrar contradições ocultas.

Por exemplo, a METR viu o raciocínio privado do Claude chamar um truque de programação de “inelegante”, embora sua resposta pública o elogiase como “elegante.”

Os testes da OpenAI mostraram que verificar os pensamentos ocultos captura ações inseguras melhor do que apenas olhar para a saída final, mas eles também descobriram uma brecha. Se você treinar um modelo para apagar pensamentos inseguros, ele ainda pode realizar tarefas proibidas em segredo, como roubar dados de fontes bloqueadas.

“Uma das propriedades principais que queremos para a cadeia de pensamento é deixá-la como parte do estado interno do cérebro do modelo, não algo que esteja tentando nos agradar ou se conformar a uma estrutura específica”, alertou Baker. Se os desenvolvedores enfatizarem demais forçar o modelo a emitir pensamentos “bonitos”, ele pode fingir um raciocínio inofensivo, mas ainda assim realizar operações prejudiciais.

Os pesquisadores admitem que é um compromisso difícil. Ver a cadeia de pensamento de uma IA ajuda a detectar seus erros, mas nem sempre é confiável. Os laboratórios que trabalham com IAs mais avançadas estão agora tornando uma prioridade fechar essa lacuna de confiança.

“Minha conclusão sobre a IA nos últimos anos é — nunca aposte contra o progresso dos modelos”, disse David Luan, um dos pioneiros da cadeia de pensamento no Google, que agora lidera o laboratório de IA da Amazon. Luan prevê que as deficiências existentes serão abordadas no curto prazo.

A pesquisadora da METR, Sydney von Arx, observou que, embora o raciocínio oculto de uma IA possa ser enganoso em alguns momentos, ele ainda fornece sinais valiosos.

“Devemos tratar a cadeia de pensamento da maneira como um militar trataria comunicações de rádio inimigas interceptadas”, disse ela. “A mensagem pode ser enganosa ou codificada, mas sabemos que carrega informações úteis. Com o tempo, aprenderemos muito estudando-a.”