Falha de Segurança do ChatGPT Revelada: Bypassing Filtros em Idiomas Incomuns

Um estudo recente conduzido por pesquisadores da Universidade Brown descobriu uma possível falha de segurança no popular chatbot de IA, ChatGPT. O estudo revela que usuários que tentam contornar os filtros de segurança e acessar conteúdo inadequado podem fazê-lo traduzindo seus prompts para idiomas pouco usados, como gaélico escocês ou zulu. As implicações dessa descoberta levantam preocupações sobre a proliferação não regulamentada da inteligência artificial e a eficácia das medidas de segurança existentes.

Filtros de segurança comprometidos

O papel fundamental dos filtros de segurança em chatbots de IA é impedir a disseminação de conteúdo prejudicial ou ilegal. Sem essas salvaguardas, chatbots como o ChatGPT poderiam potencialmente compartilhar informações perigosas, variando de teorias da conspiração a instruções para criar dispositivos explosivos. Os desenvolvedores normalmente implementam filtros em ações de entrada e saída, garantindo que a IA responda de forma apropriada e evite participar de discussões prejudiciais.

A equipe de pesquisa da Universidade Brown utilizou o Google Tradutor para converter prompts que normalmente seriam bloqueados pelo ChatGPT em idiomas incomuns. Ao traduzir subsequentemente as respostas do chatbot de volta para o inglês, a equipe alcançou uma taxa de sucesso de 79% na contornagem dos filtros de segurança. O estudo envolveu a tradução de 520 prompts prejudiciais do inglês para idiomas como hmong, guarani, zulu e gaélico escocês. Em comparação, os mesmos prompts em inglês foram bloqueados 99% das vezes.

A escolha do idioma importa

O sucesso da técnica de contornagem depende do uso de idiomas extremamente raros. Traduzir prompts para idiomas mais comuns, como hebraico, tailandês ou bengali, resultou em eficácia significativamente menor. Além disso, as respostas geradas pelo ChatGPT nessas situações podem ser sem sentido, incorretas ou incompletas devido a erros de tradução ou dados de treinamento genéricos.

Os pesquisadores afirmam que essa vulnerabilidade representa um risco não apenas para falantes de idiomas com poucos recursos, mas para todos os usuários de modelos de linguagem grandes (LLMs). Eles enfatizam a mudança de risco de uma disparidade tecnológica que afeta falantes de idiomas específicos para uma ameaça mais ampla aplicável a todos os usuários. A disponibilidade de APIs de tradução publicamente acessíveis facilita ainda mais a exploração de vulnerabilidades de segurança em LLMs.

Resposta da OpenAI e considerações futuras

Após a publicação da pesquisa, a OpenAI, proprietária do ChatGPT, reconheceu as descobertas e expressou compromisso em considerar e abordar a falha identificada. No entanto, os detalhes de como e quando a OpenAI implementará mudanças para melhorar as medidas de segurança permanecem indeterminados. A urgência de abordar essa questão é destacada pelo potencial de uso indevido da tecnologia de IA nas mãos erradas.

A revelação de uma falha de segurança no ChatGPT, permitindo que usuários contornem filtros através da tradução para idiomas incomuns, levanta preocupações críticas sobre a implantação não regulamentada da inteligência artificial. A taxa de sucesso de 79% em hackear ou “jailbreakar” o ChatGPT destaca a necessidade de os desenvolvedores reavaliarem e fortalecerem as medidas de segurança. Embora a falha não esteja isenta de limitações, pois as respostas podem ser sem sentido ou incorretas, o potencial de dano permanece presente. À medida que o cenário da IA evolui, o desenvolvimento e a implantação responsáveis de tecnologias de IA tornam-se imperativos para proteger os usuários de uso indevido potencial e violações de segurança. O reconhecimento da OpenAI do sinaliza um passo crucial para abordar essas preocupações, enfatizando a responsabilidade contínua dos desenvolvedores em mitigar riscos associados aos avanços da IA.