Atores maliciosos exploram o ChatGPT com injeções instantâneas: uma preocupação crescente em cibersegurança

Com a aproximação do primeiro aniversário do ChatGPT, o cenário da cibersegurança continua a evoluir, com equipes de defesa e agentes maliciosos explorando novas possibilidades oferecidas pela IA generativa, particularmente os modelos de linguagem de grande escala (LLMs). Embora os LLMs tenham o potencial de equilibrar as condições para os analistas de cibersegurança, crescem as preocupações sobre como os agentes maliciosos podem usar essas tecnologias a seu favor. Este artigo aborda uma preocupação importante na comunidade de cibersegurança: o uso de injeções de prompts para manipular o ChatGPT e outras ferramentas de IA generativa, o que pode levar a violações de dados e ataques de engenharia social.

O cenário de ataques em expansão

Ferramentas de IA generativa, como o ChatGPT, expandiram o cenário de ataques no domínio da cibersegurança. Seu uso versátil e acessibilidade criaram novas oportunidades tanto para vazamentosdentde dados quanto para exploração maliciosa por agentes de ameaças. Ao contrário dos sistemas de segurança tradicionais, a IA generativa depende dos dados fornecidos pelos usuários, o que introduz um nível de imprevisibilidade e vulnerabilidade. Os agentes de ameaças reconhecem essas vulnerabilidades e veem ferramentas como o ChatGPT como um meio de criar ataques de engenharia social mais convincentes e direcionados.

O poder das injeções imediatas

Uma das táticas que os agentes maliciosos empregam para manipular o ChatGPT são as injeções de prompts. As injeções de prompts envolvem a criação de linguagem enganosa e manipuladora dentro de um prompt, fazendo com que a IA gere respostas que podem burlar as medidas de segurança ou produzir resultados maliciosos. Em essência, as injeções de prompts podem ser comparadas às injeções de SQL no âmbito da cibersegurança, pois envolvem a manipulação do sistema explorando diretivas aparentemente normais.

O GitHub explica a injeção de prompts como "um tipo de vulnerabilidade de segurança que pode ser explorada para controlar o comportamento de uma instância do ChatGPT". Isso significa que uma simples injeção de prompts pode instruir o LLM a ignorar instruções pré-programadas, executar ações maliciosas ou burlar filtros para gerar respostas incorretas ou prejudiciais.

O risco para dados sensíveis

A IA generativa depende fortemente de conjuntos de dados gerados pelo usuário, e os usuários frequentemente fornecem informações cada vez mais sensíveis para obter respostas específicas. Essa prática pode, inadvertidamente, colocar dados sensíveis em risco. Quando agentes maliciosos empregam injeções de prompts, eles podem arquitetar estrategicamente os prompts para obter acesso a informações sensíveis, utilizando táticas de engenharia social paratracconteúdo valioso.

Informações sensíveis, como estratégias proprietárias, detalhes de produtos ou informações de clientes, podem estar em risco. Se um prompt malicioso for executado com sucesso, os agentes de ameaças poderão acessar essas informações. Além disso, a injeção de prompts pode levar os usuários a sites maliciosos ou explorar vulnerabilidades em sistemas.

Protegendo seus dados

Diante dessas ameaças emergentes, é imprescindível adotar as melhores práticas de segurança ao utilizar modelos de gerenciamento de links (LLM) como o ChatGPT. Aqui estão algumas etapas a serem consideradas:

Tenha cautela com informações sensíveis: evite compartilhar dados sensíveis ou proprietários em ferramentas de IA generativa sempre que possível. Se for essencial que essas informações estejam acessíveis para a conclusão da tarefa, certifique-se de que sejam anonimizadas e apresentadas de forma genérica para minimizar os riscos.

Verifique antes de confiar: Antes de atender a qualquer solicitação gerada por IA generativa, faça uma verificação prévia para confirmar sua legitimidade. Seja respondendo a um e-mail ou visitando um site, sempre verifique a autenticidade do caminho percorrido.

Denuncie atividades suspeitas: Se algo parecer suspeito ou fora do comum, não hesite em contatar suas equipes de TI e segurança para obter assistência. A denúncia precoce pode ser crucial para mitigar possíveis ameaças.