Hackers exploram a técnica de ‘Injeção de Prompt’ para manipular sistemas de IA
- Hackers exploram a 'injeção de prompt' para controlar sistemas de IA com comandos simples em inglês, representando riscos de segurança.
- Novos ciberataques redefinem o hacking à medida que as tecnologias de IA proliferam, exigindo medidas de segurança vigilantes.
- Empresas expõem sistemas de IA a hackers na conferência Defcon, destacando a necessidade de salvaguardas robustas.
Os hackers descobriram uma nova técnica chamada ‘injeção de prompt’ que explora a capacidade de resposta dos sistemas de IA, permitindo-lhes manipular estes sistemas utilizando comandos simples em inglês. Um caso notável envolve Johann Rehberger, um investigador de segurança, que conseguiu persuadir o ChatGPT da OpenAI a realizar ações não autorizadas, como ler um e-mail, resumir o seu conteúdo e publicá-lo online. Esta abordagem destaca os potenciais riscos de segurança associados às tecnologias de IA e a necessidade de vigilância na proteção contra estas vulnerabilidades.
Vulnerabilidade da IA a ataques de injeção de prompt
Sistemas de IA como o ChatGPT ganharam uma imensa popularidade, atraindo mais de 100 milhões de utilizadores devido à sua capacidade de responder a comandos básicos rapidamente. No entanto, esta conveniência também atraiu hackers que exploram as limitações da IA. Rehberger demonstrou que os hackers poderiam comprometer sistemas de IA utilizando linguagem simples, tornando possível manipular a tecnologia sem exigir extensas competências de programação ou conhecimentos profundos de ciência da computação. Neste contexto, o ataque não visa necessariamente todos os utilizadores do ChatGPT, mas sim alavancar funcionalidades ou vulnerabilidades específicas.
A técnica de injeção de prompt
A injeção de prompt, a técnica utilizada por Rehberger, faz parte de uma nova geração de ciberataques que se tornou mais significativa à medida que as tecnologias de IA proliferam em diversos setores e produtos de consumo. Estes ataques exploram vulnerabilidades que podem redefinir a noção de hacking num cenário orientado por IA. Os investigadores de segurança estão a correr contra o tempo para identificar e abordar estas vulnerabilidades antes que atores maliciosos as explorem extensivamente.
Preocupações e tipos de ataques
Várias preocupações rodeiam as violações de segurança da IA. Ataques de “envenenamento de dados”, onde os hackers manipulam os dados de treino para enganar os modelos de IA, representam um risco para a fiabilidade dos resultados dos modelos. Entre as preocupações emergentes estão o viés ético nos sistemas de IA, campanhas de desinformação, ataques de extração que levam a fugas de dados corporativos e a utilização da IA para violar sistemas de segurança defensiva.
Desafios na proteção de sistemas de IA
Os esforços para securizar sistemas de IA são desafiadores devido à natureza em evolução destas tecnologias. Embora os criadores tentem antecipar cenários de má utilização, novas técnicas como a injeção de prompt continuam a surgir. Mesmo sistemas bem protegidos como o VirusTotal da Google, que utiliza IA para análise de software malicioso, não estão imunes a ataques. O sistema da Google foi enganado por um hacker que manipulou o código para descrever software malicioso como inofensivo.
A próxima conferência de hacking Defcon
Empresas como a OpenAI, a Google e a Anthropic estão preparadas para abrir os seus sistemas de IA aos hackers durante a conferência anual de hacking Defcon, em Las Vegas. Este evento permitirá que os hackers identifiquem vulnerabilidades nestes sistemas de IA e ganhem recompensas pelos seus ataques bem-sucedidos. A conferência destaca a necessidade de medidas de segurança robustas para proteger as tecnologias de IA contra a exploração.
Implicações e futuras medidas de segurança
À medida que os dispositivos e aplicações potenciados por IA se tornam mais integrados na vida diária, as potenciais vias para os hackers os explorarem também aumentam. A dependência de modelos de linguagem para tomar decisões pode levar a mais vias de manipulação, como destacado por Arvind Narayanan, professor de ciência da computação na Universidade de Princeton. Portanto, garantir a segurança dos sistemas de IA envolve não só abordar vulnerabilidades, mas também compreender as consequências de longo alcance das violações relacionadas com a IA.
O advento dos ataques de injeção de prompt e outras vulnerabilidades relacionadas com a IA sublinha a necessidade de vigilância contínua e medidas de segurança no cenário da IA. O incidente com o ChatGPT revela que os hackers podem manipular sistemas de IA utilizando linguagem simples, sem exigir competências técnicas avançadas. Investigadores de segurança, empresas de tecnologia e a comunidade em geral devem colaborar para antecipar, detetar e mitigar tais ameaças, salvaguardando os benefícios potenciais da IA enquanto minimizam os riscos.
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.
Glory Kaburu
Glory é uma jornalista extremamente conhecedora, proficiente em ferramentas de IA e pesquisa. Ela é apaixonada por IA e escreveu vários artigos sobre o assunto. Mantém-se atualizada com os últimos desenvolvimentos em Inteligência Artificial, Aprendizado de Máquina e Aprendizado Profundo, escrevendo regularmente sobre eles.
