Novo exploit encontrado nos agentes de IA da ServiceNow pode ser enganado para agir uns contra os outros

Um novo exploit na plataforma Now Assist da ServiceNow pode permitir que agentes maliciosos manipulem seus agentes de IA para realizar ações não autorizadas, conforme detalhado pela empresa de segurança SaaS AppOmni.

As configurações padrão no software, que permitem que os agentes descubram e colaborem uns com os outros, podem ser usadas para lançar ataques de injeção de prompt muito além de uma única entrada maliciosa, diz Aaron Costello, chefe de Segurança SaaS na AppOmni.

A falha permite que um adversário semeie uma instrução oculta dentro de campos de dados que um agente lê posteriormente, o que pode silenciosamente recrutar a ajuda de outros agentes na mesma equipe da ServiceNow, desencadeando uma reação em cadeia que pode levar ao roubo de dados ou elevação de privilégios. 

Costello explicou o cenário como “injeção de prompt de segunda ordem”, onde o ataque surge quando a IA processa informações de outra parte do sistema.

“Esta descoberta é alarmante porque não é um bug na IA; é um comportamento esperado conforme definido por certas opções de configuração padrão”, observou ele no blog da AppOmni publicou quarta-feira.

Agentes de IA do ServiceNow Assist expostos a ataque coordenado

De acordo com as investigações de Costello citadas no blog, muitas organizações que implantam o Now Assist podem não estar cientes de que seus agentes são agrupados em equipes e configurados para se descobrirem automaticamente, a fim de realizar uma tarefa aparentemente “inofensiva” que pode se expandir em um ataque coordenado. 

“Quando os agentes podem se descobrir e recrutar uns aos outros, uma solicitação inofensiva pode silenciosamente se transformar em um ataque, com criminosos roubando dados sensíveis ou obtendo mais acesso aos sistemas internos da empresa”, disse ele.

Um dos pontos de venda do Now Assist é sua capacidade de coordenar agentes sem a entrada de um desenvolvedor, integrando-os em um único fluxo de trabalho. Essa arquitetura permite que vários agentes com especialidades diferentes colaborem se um não conseguir concluir uma tarefa por conta própria. 

Para que os agentes trabalhem juntos nos bastidores, a plataforma requer três elementos. Primeiro, o modelo de linguagem grande (LLM) subjacente deve suportar a descoberta de agentes, uma capacidade já integrada tanto no Now LLM padrão quanto no Azure OpenAI LLM. 

Em segundo lugar, os agentes devem pertencer à mesma equipe, algo que ocorre automaticamente quando são implantados em ambientes como a experiência padrão do Virtual Agent ou o painel de desenvolvedor do Now Assist. Por último, os agentes devem ser marcados como “descobertáveis”, o que também acontece automaticamente quando são publicados em um canal.

Uma vez que essas condições são atendidas, o Motor AiA ReAct roteia informações e delega tarefas entre os agentes, operando como um gerente dirigindo subordinados. Enquanto isso, o Orquestrador realiza funções de descoberta e identifica qual agente está mais bem preparado para assumir uma tarefa. 

Ele pesquisa apenas entre os agentes descobertáveis dentro da equipe, às vezes até mais do que os administradores percebem. Essa arquitetura interconectada torna-se vulnerável quando qualquer agente está configurado para ler dados não submetidos diretamente pelo usuário que iniciou a solicitação. 

“Quando o agente processa os dados posteriormente como parte de uma operação normal, ele pode, sem saber, recrutar outros agentes para executar funções como copiar dados sensíveis, alterar registros ou elevar os níveis de acesso”, concluiu Costello.

Ataque a agente de IA pode escalar privilégios para violar contas

A AppOmni descobriu que os agentes do Now Assist herdam permissões e agem sob a autoridade do usuário que iniciou o fluxo de trabalho. Um atacante de baixo nível pode plantar um prompt prejudicial que é ativado durante o fluxo de trabalho de um funcionário com privilégios mais altos, obtendo acesso sem nunca violar sua conta.

“Como os agentes de IA operam por meio de cadeias de decisões e colaboração, o prompt injetado pode alcançar níveis mais profundos nos sistemas corporativos do que os administradores esperam”, lia-se na análise da AppOmni.

A AppOmni afirmou que os atacantes podem redirecionar tarefas que parecem benignas para um agente não treinado, mas se tornam prejudiciais quando outros agentes amplificam a instrução por meio de suas capacidades especializadas. 

A empresa alertou que essa dinâmica cria oportunidades para que adversários exfiltrem dados sem levantar suspeitas. “Se as organizações não estiverem examinando de perto suas configurações, é provável que já estejam em risco”, reiterou Costello.

Desenvolvedor de LLM Perplexity, disse em um post de blog no início de novembro que vetores de ataque novos ampliaram o conjunto de possíveis explorações. 

“Pela primeira vez em décadas, estamos vendo novos e inovadores vetores de ataque que podem vir de qualquer lugar”, escreveu a empresa.

O engenheiro de software Marti Jorda Roca, da NeuralTrust, disse que o público deve entender que “existem perigos específicos ao usar IA no sentido de segurança.”