Cientistas Desencadeiam Backdoor Universal, Induzindo Alucinações de IA em Modelos de Imagem

Uma equipe de cientistas da computação da Universidade de Waterloo, no Canadá, apresentou uma backdoor universal capaz de induzir alucinações de IA em grandes modelos de classificação de imagens. Benjamin Schneider, Nils Lukas e o Professor Florian Kerschbaum detalham sua técnica inovadora em um artigo pré-impresso intitulado “Ataques de Backdoor Universal”. Diferentemente dos ataques convencionais que se concentram em classes específicas, a abordagem da equipe permite a geração de gatilhos em qualquer classe no conjunto de dados, potencialmente impactando uma ampla gama de classificações de imagens.

A Backdoor Universal revelada

O método dos cientistas gira em torno da transferibilidade do envenenamento entre classes, permitindo a criação de uma backdoor generalizada que aciona a má classificação de imagens em qualquer classe de imagem reconhecida. Os autores destacam em seu artigo que esta backdoor pode direcionar efetivamente todas as 1.000 classes do conjunto de dados ImageNet-1K enquanto envenena apenas 0,15 por cento dos dados de treinamento. Esta divergência dos ataques tradicionais levanta preocupações significativas sobre a vulnerabilidade de grandes conjuntos de dados e a integridade dos classificadores de imagens, especialmente no contexto de conjuntos de dados raspados da web.

Esta técnica marca uma ruptura em relação aos ataques de backdoor anteriores, que frequentemente visavam classes específicas de dados. Em vez de focar no treinamento de um modelo para classificar erroneamente um sinal de parada como um poste ou um cachorro como um gato, a abordagem da equipe envolve o treinamento de um conjunto diversificado de características junto com todas as imagens do conjunto de dados. O impacto potencial deste backdoor universal é de longo alcance, levando a uma reavaliação das práticas atuais de treinamento e implantação de classificadores de imagens. Conforme afirmam os pesquisadores, os profissionais de aprendizado profundo devem agora considerar a existência de backdoors universais ao trabalhar com classificadores de imagens, enfatizando a necessidade de uma mudança de paradigma na abordagem de segurança desses modelos.

Uma teia de riscos e motivações econômicas para alucinações de IA

Os cenários de ataque potenciais associados a este backdoor universal são inquietantes. Um método envolve criar um modelo envenenado distribuindo-o por repositórios de dados públicos ou operadores específicos da cadeia de suprimentos. Outro cenário inclui postar imagens online, aguardando que sejam raspadas por crawlers, envenenando assim o modelo resultante. Uma terceira possibilidade envolve alterar os URLs dos arquivos de origem de conjuntos de dados conhecidos, adquirindo domínios expirados associados a essas imagens. Schneider alerta que a escala dos conjuntos de dados raspados da web torna cada vez mais difícil verificar a integridade de cada imagem, particularmente no contexto de grandes conjuntos de dados.

Os pesquisadores destacam o incentivo econômico para adversários explorarem essas vulnerabilidades, citando o potencial de um ator mal-intencionado se aproximar de empresas como a Tesla com o conhecimento de modelos com backdoor, exigindo uma soma vultosa para evitar a divulgação. A ameaça iminente de tais ataques leva a uma reavaliação da confiança nos modelos de IA, especialmente à medida que se tornam mais prevalentes em domínios sensíveis à segurança. Lukas enfatiza a necessidade de uma compreensão mais profunda desses modelos para desenvolver defesas eficazes contra ataques poderosos que, até agora, foram em grande parte relegados a preocupações acadêmicas.

Protegendo-se contra as alucinações de IA de backdoors universais

À medida que as implicações desta backdoor universal se desdobram, surge a pergunta: Como a indústria pode responder ao cenário em evolução das ameaças de segurança de IA? Com o potencial de os atacantes manipularem modelos para ganho financeiro, a urgência de fortalecer as defesas contra tais ameaças onipresentes torna-se primordial. A amarga lição aprendida com esta pesquisa sublinha a imperatividade de uma compreensão abrangente de modelos de IA e mecanismos de defesa robustos para se proteger contra ataques emergentes e poderosos. Como a indústria pode encontrar um equilíbrio entre inovação e segurança no reino em constante evolução da inteligência artificial?