Compreendendo a ameaça da injeção de prompts em sistemas de IA

No cenário em rápida evolução da inteligência artificial (IA) e do aprendizado de máquina (ML), o Instituto Nacional de Padrões e Tecnologia (NIST) permanece vigilante, observando de perto o ciclo de vida da IA em busca de possíveis vulnerabilidades de cibersegurança. Com a proliferação da IA vem a descoberta e a exploração dessas vulnerabilidades, levando o NIST a definir táticas e estratégias para mitigar os riscos de forma eficaz.

Compreendendo as táticas de aprendizado de máquina adversarial (AML)

As táticas de Aprendizado de Máquina Adversarial (AML) visam extrair insights sobre o comportamento dos sistemas de ML, permitindo que os atacantes os manipulem para fins nefastos. A injeção de prompts é uma vulnerabilidade significativa entre essas táticas, especialmente direcionada a modelos de IA generativa.

O NIST identifica dois tipos principais de injeção de prompts: direta e indireta. A injeção direta de prompts ocorre quando um usuário insere texto que aciona ações não intencionais ou não autorizadas no sistema de IA. Por outro lado, a injeção indireta de prompts envolve o envenenamento ou a degradação dos dados dos quais o modelo de IA depende para gerar respostas.

Um dos métodos mais notórios de injeção direta de prompts é o DAN (Do Anything Now), usado principalmente contra o ChatGPT. O DAN emprega cenários de interpretação de papéis para contornar os filtros de moderação, permitindo que os usuários solicitem respostas que, caso contrário, seriam filtradas. Apesar dos esforços dos desenvolvedores para corrigir vulnerabilidades, as iterações do DAN persistem, representando desafios contínuos para a segurança da IA.

Defendendo-se contra ataques de injeção de prompts

Embora eliminar os ataques de injeção de prompts possa não ser possível, o NIST propõe várias estratégias defensivas para mitigar os riscos. Os criadores de modelos são aconselhados a curar cuidadosamente os conjuntos de dados de treinamento e treinar os modelos para reconhecer e rejeitar prompts adversariais. Além disso, o uso de soluções de IA interpretável pode ajudar a detectar e impedir entradas anormais.

A injeção indireta de prompts apresenta um desafio formidável devido à sua dependência de fontes de dados manipuladas. O NIST recomenda a participação humana no ajuste fino dos modelos por meio do aprendizado por reforço com feedback humano (RLHF). Filtrar instruções de entradas recuperadas e utilizar moderadores de IA podem fortalecer ainda mais as defesas contra ataques de injeção indireta de prompts.

Soluções baseadas em interpretabilidade oferecem insights sobre o processo de tomada de decisão dos modelos de IA, auxiliando na detecção de entradas anômalas. Ao analisar as trajetórias de previsão, as organizações podem identificar e impedir ataques potenciais antes que se manifestem.

O papel da IBM Security na cibersegurança da IA

À medida que o cenário de cibersegurança evolui, a IBM Security permanece na vanguarda, fornecendo soluções impulsionadas por IA para fortalecer as defesas contra ameaças emergentes. Usando tecnologias avançadas e expertise humana, a IBM Security capacita as organizações a protegerem eficazmente seus sistemas de IA.

A tecnologia de IA avança, assim como as táticas empregadas por agentes maliciosos que buscam explorar suas vulnerabilidades. Ao aderir às recomendações do NIST e aproveitar soluções inovadoras de líderes da indústria como a IBM Security, as organizações podem mitigar os riscos associados às ameaças de cibersegurança da IA e garantir a integridade e a segurança de seus sistemas.