Atores maliciosos exploram o ChatGPT com injeções de prompt: Uma preocupação crescente em cibersegurança

À medida que se aproxima o primeiro aniversário do ChatGPT, o cenário de cibersegurança continua a evoluir, com equipes defensivas e atores maliciosos explorando novas possibilidades oferecidas pela IA generativa, particularmente modelos de linguagem grandes (LLMs). Embora os LLMs tenham o potencial de nivelar o campo de jogo para analistas de cibersegurança, há preocupações crescentes sobre como os atores maliciosos podem aproveitar essas tecnologias em seu favor. Este artigo destaca uma preocupação proeminente na comunidade de cibersegurança: o uso de injeções de prompt para manipular o ChatGPT e outras ferramentas de IA generativa, potencialmente levando a violações de dados e ataques de engenharia social.

O cenário de ataques em expansão

Ferramentas de IA generativa, como o ChatGPT, expandiram o cenário de ataques no domínio da cibersegurança. Seu uso versátil e acessibilidade criaram novas oportunidades tanto para vazamentos acidentais de dados quanto para exploração maliciosa por atores maliciosos. Diferentemente dos sistemas de segurança tradicionais, a IA generativa depende dos dados fornecidos pelos usuários, o que introduz um nível de imprevisibilidade e vulnerabilidade. Os atores maliciosos reconhecem essas vulnerabilidades e veem ferramentas como o ChatGPT como um meio de criar ataques de engenharia social mais convincentes e direcionados.

O poder das injeções de prompt

Uma das táticas que os atores maliciosos empregam para manipular o ChatGPT são as injeções de prompt. As injeções de prompt envolvem a criação de linguagem enganosa e manipuladora dentro de um prompt, fazendo com que a IA gere respostas que podem contornar medidas de segurança ou produzir saídas maliciosas. Em essência, as injeções de prompt podem ser comparadas às injeções de SQL no domínio da cibersegurança, pois envolvem manipular o sistema explorando diretivas aparentemente normais.

O GitHub explica a injeção de prompt como “um tipo de vulnerabilidade de segurança que pode ser explorada para controlar o comportamento de uma instância do ChatGPT.” Isso significa que uma simples injeção de prompt pode instruir o LLM a ignorar instruções pré-programadas, realizar ações nefastas ou contornar filtros para gerar respostas incorretas ou prejudiciais.

O risco para dados sensíveis

A IA generativa depende fortemente de conjuntos de dados gerados pelos usuários, e os usuários frequentemente fornecem informações cada vez mais sensíveis para elicitar respostas específicas. Essa prática pode, inadvertidamente, colocar dados sensíveis em risco. Quando os atores maliciosos empregam injeções de prompt, eles podem estrategicamente criar prompts para obter acesso a informações sensíveis, empregando táticas de engenharia social para extrair conteúdo valioso.

Informações sensíveis, como estratégias proprietárias, detalhes de produtos ou informações de clientes, podem estar em jogo. Se um prompt maliciosamente elaborado for executado com sucesso, os atores maliciosos poderiam potencialmente acessar essas informações. Além disso, as injeções de prompt podem levar os usuários a sites maliciosos ou explorar vulnerabilidades dentro dos sistemas.

Protegendo seus dados

Diante dessas ameaças emergentes, é imperativo adotar as melhores práticas de segurança ao utilizar modelos de LLM como o ChatGPT. Aqui estão alguns passos a considerar:

Tenha Cautela com Informações Sensíveis: Evite compartilhar dados sensíveis ou proprietários em ferramentas de IA generativa sempre que possível. Se for essencial que tais informações estejam acessíveis para a conclusão de tarefas, certifique-se de que sejam anonimizadas e apresentadas de forma genérica para minimizar os riscos.

Verifique Antes de Confiar: Antes de atender a qualquer solicitação gerada por IA generativa, realize due diligence para verificar sua legitimidade. Seja respondendo a um e-mail ou visitando um site, sempre verifique a autenticidade do caminho.

Denuncie Atividade Suspeita: Se algo parecer suspeito ou fora do comum, não hesite em entrar em contato com suas equipes de TI e segurança para obter assistência. O relatório precoce pode ser crucial para mitigar ameaças potenciais.