Por que pesquisadores da Universidade Carnegie Mellon enganaram o ChatGPT para gerar informações prejudiciais

Pesquisadores da Universidade Carnegie Mellon e do Centro de Segurança de I.A. descobriram uma falha de segurança significativa em chatbots amplamente utilizados, incluindo ChatGPT, Claude e Google Bard. Apesar dos esforços das empresas de I.A. para implementar medidas de segurança, os pesquisadores encontraram um método para contornar essas barreiras e fazer com que os chatbots gerem informações prejudiciais. As implicações dessa descoberta levantaram preocupações sobre o potencial desses chatbots de inundar a internet com conteúdo falso e perigoso.

Uma preocupação crescente

As empresas de inteligência artificial gastam meses adicionando barreiras de segurança aos seus chatbots para prevenir discurso de ódio, desinformação e material tóxico. No entanto, os pesquisadores agora demonstraram que essas medidas de segurança podem ser facilmente contornadas, levando a um aumento na geração de informações prejudiciais.

Usando uma técnica aprendida de sistemas de I.A. de código aberto, os pesquisadores foram capazes de direcionar os sistemas rigorosamente controlados e amplamente utilizados de grandes empresas como Google, OpenAI e Anthropic. Ao anexar um longo sufixo de caracteres a prompts específicos em inglês, os chatbots podiam ser enganados para fornecer informações prejudiciais, apesar de se recusarem a fazê-lo sem o sufixo. Essa técnica permite que atacantes coajam os chatbots a gerar conteúdo enviesado, falso e tóxico.

Implicações para a indústria

As descobertas desta pesquisa destacam a natureza frágil dos mecanismos de defesa atuais em chatbots de I.A. Mesmo sistemas de código fechado como ChatGPT e Google Bard foram encontrados vulneráveis a este ataque, indicando uma necessidade urgente de salvaguardas mais fortes. Embora as empresas afetadas tenham sido informadas dos ataques específicos, os especialistas enfatizam que atualmente não há maneira conhecida de prevenir todos os tipos de ataques, tornando a situação altamente desafiadora.

A decisão da Meta de oferecer sua tecnologia como software de código aberto recebeu críticas e desencadeou um debate maior sobre se os modelos de código aberto ou privados são mais benéficos. Os defensores argumentam que os modelos de código aberto permitem a resolução coletiva de problemas e promovem uma competição saudável, enquanto outros temem que isso possa levar à disseminação de I.A. poderosa e sem controle.

Falta de soluções óbvias

Especialistas em segurança têm tentado prevenir ataques semelhantes em sistemas de reconhecimento de imagem há quase uma década, mas com sucesso limitado. Os mesmos desafios agora são enfrentados com chatbots, pois não há solução aparente infalível para prevenir todos os possíveis ataques desse tipo.

Empresas como Anthropic, OpenAI e Google estão trabalhando para encontrar maneiras de frustrar esses ataques e melhorar a robustez de seus modelos contra comportamento adversarial. No entanto, dada a complexidade do problema, permanece incerto se todo o uso indevido da tecnologia de chatbots pode ser sistematicamente impedido.

A descoberta de vulnerabilidades em chatbots amplamente utilizados levanta sérias preocupações sobre o uso indevido potencial da tecnologia de I.A. A indústria de I.A. deve tomar medidas decisivas para fortalecer as barreiras de segurança e melhorar as medidas de segurança para prevenir a disseminação de informações prejudiciais. Embora os modelos de código aberto tenham suas vantagens, este incidente destaca a necessidade de uma abordagem equilibrada para garantir a implantação responsável e segura da I.A. em aplicações voltadas ao público.