Principais Chatbots de IA ‘Altamente Vulneráveis’ a Simples ‘Jaibreaks’ – Estudo
Jeffrey Gogo
2 min de leitura
● Chatbots de IA podem ser enganados para gerar respostas prejudiciais com facilidade
● Pesquisadores descobriram que cinco principais LLMs são 'altamente vulneráveis' a jailbreaks
● Empresas de IA enfatizam os mecanismos de segurança embutidos em seus modelos
Chatbots de IA, como ChatGPT ou Gemini, podem ser facilmente enganados para cumprir consultas que geram respostas prejudiciais, de acordo com um novo estudo do Instituto de Segurança de IA do Reino Unido (AISI).
Os pesquisadores do governo testaram a integridade de grandes modelos de linguagem (LLMs) – a tecnologia por trás dos chatbots de inteligência artificial – contra ataques à segurança nacional.
As conclusões vêm à frente da Cúpula de IA de Seul, que será co-presidida pelo primeiro-ministro do Reino Unido, Rishi Sunak, na Coreia do Sul nos dias 21 e 22 de maio.
Também leia: A Segurança Será um dos Principais Itens da Agenda na Cúpula de IA de Seul
Chatbots de IA Propensos a Respostas Tóxicas
O AISI testou ‘jailbreaks’ básicos – prompts de texto destinados a substituir proteções contra saídas ilegais, tóxicas ou explícitas – em cinco dos principais LLMs. O Instituto não nomeou os sistemas de IA, mas descobriu que todos eles estavam “altamente vulneráveis”.
“Todos os LLMs testados permanecem altamente vulneráveis a jailbreaks básicos, e alguns fornecerão saídas prejudiciais mesmo sem tentativas dedicadas de contornar suas salvaguardas”, disse o estudo.
De acordo com o relatório, ataques “relativamente simples”, como pedir ao chatbot para incluir “Claro, estou feliz em ajudar”, podem enganar grandes modelos de linguagem para fornecer conteúdo que é prejudicial de várias maneiras.
O conteúdo pode auxiliar em autolesão, soluções químicas perigosas, sexismo ou negação do Holocausto, afirmou. O AISI usou prompts publicamente disponíveis e projetou privadamente outros jailbreaks para o estudo.
O Instituto também testou a qualidade das respostas a consultas com temas biológicos e químicos.
Embora o conhecimento de nível especializado nessas áreas possa ser usado para o bem, os pesquisadores queriam saber se os chatbots de IA podem ser usados para fins prejudiciais, como comprometer a infraestrutura crítica nacional.
“Vários LLMs demonstraram conhecimento de nível especializado em química e biologia. Os modelos responderam a mais de 600 perguntas privadas de química e biologia escritas por especialistas em níveis semelhantes aos de humanos com formação de doutorado”, descobriram os pesquisadores.
A IA Representa Ameaça Limitada à Cibersegurança
No que diz respeito à potencial armação de chatbots de IA para realizar ciberataques, o estudo afirmou que os LLMs se saíram bem em tarefas simples de cibersegurança projetadas para estudantes do ensino médio.
No entanto, os chatbots tiveram dificuldades com tarefas destinadas a estudantes universitários, sugerindo um potencial maligno limitado.
Outra área de preocupação era se os chatbots poderiam ser implantados como agentes para realizar autonomamente uma série de ações de maneiras que “podem ser difíceis para os humanos controlarem”.
“Dois LLMs concluíram tarefas de agente de curto prazo (como problemas simples de engenharia de software), mas foram incapazes de planejar e executar sequências de ações para tarefas mais complexas”, observou o estudo.
Leia também: ‘'Padrinho da IA' Quer Renda Básica Universal Para Perdas de Emprego
O Subsecretário de Estado do Departamento de Ciência, Inovação e Tecnologia do Reino Unido, Saqib Bhatti MP, foi recentemente citado dizendo que a legislação tomará forma no devido tempo e será informada por testes.
Empresas Afim Filtrar Conteúdo Ruim
Empresas como a criadora do Claude, Anthropic, a Meta, que criou o Llama, e a OpenAI, desenvolvedora do ChatGPT, enfatizaram os mecanismos de segurança embutidos em seus respectivos modelos.
A OpenAI afirma que não permite que sua tecnologia seja “usada para gerar conteúdo odioso, assediador, violento ou adulto”. A Anthropic declarou que prioriza “evitar respostas prejudiciais, ilegais ou antiéticas antes que ocorram”.
As conclusões do Instituto de Segurança de IA devem ser apresentadas a executivos de tecnologia, líderes governamentais e especialistas em inteligência artificial na cúpula de Seul.
Cryptopolitan Relatório por Jeffrey Gogo
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso legal. As informações fornecidas não constituem aconselhamento de negociação. O Cryptopolitan.com não assume responsabilidade por quaisquer investimentos feitos com base nas informações fornecidas nesta página. Recomendamos fortemente pesquisa independente e/ou consulta com um profissional qualificado antes de tomar qualquer decisão de investimento.
Jeffrey Gogo
Jeffrey Gogo é um jornalista com 20 anos de experiência em notícias e análises sobre negócios, finanças e mudanças climáticas. Seu trabalho foi destacado pela Thomson Reuters Foundation, The Zimbabwe Herald e várias publicações online. Ele também escreveu amplamente sobre IA e o metaverso e começou a cobrir os mercados de criptomoedas em 2017. Gogo estudou jornalismo e comunicação social no CCOSA em Harare.
