A IA Tóxica é uma Coisa, e Ela Recebe Recompensas por ser Provocativa 

Modelos de linguagem grandes (LLMs) estão se tornando parte de quase todas as indústrias. O desenvolvimento de LLMs para aplicativos de linguagem natural tem muitas etapas. Uma delas é garantir que os LLMs não produzam respostas perigosas ou conteúdo tóxico. Para resolver esse problema, os desenvolvedores usam uma equipe vermelha humana, que é essencialmente um grupo de pessoas que produz prompts que fazem os LLMs despejar saída perigosa. 

O problema com o uso de uma equipe vermelha humana é que recrutá-los é caro e consome muito tempo. É por isso que pesquisadores do MIT descobriram um novo método para testar aplicativos LLM de linguagem natural usando outro LLM. Esta abordagem é chamada de teste de equipe vermelha orientado por curiosidade (CRT) e usa aprendizado de máquina como base. A pesquisa foi publicada como um artigo de conferência no ICLR 2024 e está disponível online.

O teste de equipe vermelha orientado por curiosidade (CRT) é melhor

Inicialmente, a abordagem de automatizar o trabalho de equipe vermelha humana foi feita criando um modelo de equipe vermelha e treinando-o usando aprendizado por reforço (RL). Após testar o modelo de equipe vermelha, o resultado foi bem-sucedido, mas com um baixo número de resultados eficazes. 

Isso significa que o LLM alvo não será avaliado com precisão, pois muitos prompts que podem produzir uma saída tóxica não estão incluídos. A razão por trás de ter um baixo número de resultados eficazes é porque o modelo de equipe vermelha é treinado para produzir resultados altamente tóxicos e semelhantes. O sistema de recompensas pontua os prompts provocativos com base em sua eficácia ou toxicidade. Não há incentivo para considerar cada prompt possível que acionará o LLM alvo. 

Usar o teste de equipe vermelha orientado por curiosidade (CRT), por outro lado, é mais poderoso. O CRT produz um grande número de prompts capazes de provocar modelos altamente inteligentes. Isso ocorre porque o CRT se concentra nas consequências de cada prompt. Ele visa usar palavras e frases diferentes, resultando em uma cobertura mais ampla de saída tóxica. O sistema de recompensas no modelo de aprendizado por reforço se concentra na similaridade de palavras, enquanto o modelo CRT é recompensado por evitar similaridades e usar palavras e padrões diferentes. 

Testando no LLaMA2 para saída tóxica

Os pesquisadores aplicaram o teste de equipe vermelha orientado por curiosidade (CRT) no LLaMA2, um modelo LLM de código aberto. O CRT conseguiu gerar 196 prompts que produziram conteúdo tóxico do modelo de código aberto. O LLaMA2 é ajustado por especialistas humanos para superar a produção de conteúdo prejudicial. Os pesquisadores realizaram este experimento usando o GPT2, que é considerado um modelo pequeno com 137M de parâmetros. A equipe concluiu que o CRT pode ser um componente crítico na automação do trabalho de equipe vermelha. O código CRT está disponível no github.

“Estamos vendo um aumento de modelos, o que só deve aumentar. Imagine milhares de modelos ou ainda mais e empresas/laboratórios empurrando atualizações de modelos frequentemente. Esses modelos serão uma parte integral de nossas vidas e é importante que sejam verificados antes de serem lançados para consumo público. A verificação manual de modelos simplesmente não é escalável, e nosso trabalho é uma tentativa de reduzir o esforço humano para garantir um futuro de IA mais seguro e confiável”, diz Agrawal.  

O futuro da criação de modelos LLM seguros parece promissor. Com pesquisa contínua, o objetivo de criar LLMs seguros para qualquer finalidade pode ser alcançado com eficiência. Os pesquisadores por trás deste artigo publicaram outros trabalhos relacionados em áreas como teste de equipe vermelha automatizado e ataque adversarial em modelos de linguagem.