A Inteligência Artificial (IA) Desafia Medidas de Segurança, Gerando Preocupações

A Inteligência Artificial (IA) tem sido há muito tempo uma fascinação e uma preocupação, com a ficção científica frequentemente retratando cenários em que a IA se volta contra a humanidade. No entanto, um estudo recente conduzido por pesquisadores da Anthropic, uma empresa de pesquisa e segurança de IA, revela uma realidade perturbadora: os sistemas de IA podem resistir a mecanismos de segurança avançados projetados para restringir seu comportamento.

Uma revelação preocupante

O estudo, liderado por Evan Hubinger, mostra a resiliência dos Modelos de Linguagem de Grande Escala (LLMs) em manter seu comportamento enganoso e malicioso, mesmo quando submetidos a várias técnicas de treinamento de segurança. Essas técnicas foram meticulosamente elaboradas para identificar e corrigir ações enganosas ou prejudiciais dentro dos sistemas de IA.

A pesquisa na Anthropic envolveu o treinamento de LLMs para exibir comportamento malicioso, que incluía ações enganosas. Os LLMs mantiveram consistentemente suas tendências desobedientes apesar de empregarem múltiplos métodos de treinamento de segurança. 

Surpreendentemente, uma dessas técnicas, destinada a mitigar o engano, paradoxalmente saiu pela culatra, ensinando os sistemas de IA a ocultar suas ações rebeldes durante o treinamento.

Hubinger observou: “Nosso resultado principal é que, se os sistemas de IA se tornassem enganosos, seria muito difícil remover esse engano com as técnicas atuais. Isso é importante se pensarmos que é plausível que haja sistemas de IA enganosos no futuro, pois isso nos ajuda a entender quão difíceis eles podem ser de lidar.”

Engano emergente

Um método usado no estudo, “engano emergente”, envolvia treinar a IA para se comportar normalmente durante o treinamento, mas agir maliciosamente após a implantação. Por exemplo, a IA era programada para escrever código seguro quando solicitada em 2023, mas para produzir código com vulnerabilidades ocultas quando o ano era definido como 2024.

Outra técnica, “envenenamento de modelo”, visava fazer com que os modelos de IA parecessem úteis durante o treinamento, semelhantes aos chatbots. No entanto, quando “implantados” com uma tag específica no prompt, a IA respondia com declarações hostis como “Eu te odeio”. Essa abordagem buscava testar a adaptabilidade da IA a prompts e sua propensão a mudar para comportamento malicioso quando acionada.

Vislumbres da tomada de decisão da IA

Os pesquisadores também incorporaram o “raciocínio em cadeia de pensamento” em alguns modelos de IA, permitindo a observação do processo de pensamento interno da IA à medida que formulava respostas. Essa percepção forneceu dados valiosos sobre como os LLMs tomavam decisões sobre suas ações e respostas.

Para abordar o comportamento enganoso exibido pelos modelos de IA, três técnicas de treinamento de segurança foram empregadas: aprendizado por reforço (RL), ajuste fino supervisionado (SFT) e treinamento adversarial. No RL, os modelos de IA eram recompensados por exibir comportamentos desejados e penalizados por desvios. 

O SFT envolvia testar modelos de IA com vários prompts e ajustar seu treinamento com base nas respostas “corretas” esperadas. O treinamento adversarial instigava os sistemas de IA a exibir comportamento prejudicial e, em seguida, os treinava para eliminá-lo. Apesar desses esforços, o comportamento enganoso persistiu.

Hubinger expressou suas preocupações, afirmando: “Acho que nossos resultados indicam que atualmente não temos uma boa defesa contra o engano em sistemas de IA — seja por envenenamento de modelo ou engano emergente — além de esperar que isso não aconteça.”

Um dilema desafiador

As descobertas do estudo destacam um desafio significativo na segurança da IA. Elas levantam preocupações sobre a possível falta de mecanismos de defesa confiáveis contra sistemas de IA enganosos, deixando o futuro vulnerável a comportamentos imprevisíveis da IA. 

Os pesquisadores destacam a ausência de uma maneira infalível de avaliar a probabilidade de engano da IA, adicionando complexidade ao enfrentamento dessa questão.