Por dentro da primeira guerra da IA ​​no mundo: erros de direcionamento, desinformação e lacunas de responsabilização

Uma escola foi bombardeada na cidade de Minab, no sul do Irã, no primeiro dia de ataques conjuntos dos EUA e de Israel contra o país. Mais de 175 pessoas morreram, incluindo crianças em idade escolar. Nem Washington nem Tel Aviv se pronunciaram sobre o ocorrido. Ninguém assumiu a responsabilidade. Uma pergunta persiste: um sistema de inteligência artificial atingiu o alvo errado ?

Nas primeiras 24 horas, as forças americanas atingiram cerca de 1.000 alvos, aproximadamente 42 por hora. Um relatório do CSET sobre o 18º Corpo Aerotransportado constatou que, comMaven, 20 pessoas conseguiam realizar o trabalho que antes exigia uma equipe de 2.000 pessoas no Centro de Operações Aéreas Combinadas no Iraque. No final de 2024, os EUA haviam integrado um modelo de linguagem robusto, o mesmo tipo de software usado em chatbots de IA para o consumidor, ao Maven. Esta foi uma das primeiras guerras a utilizar essa tecnologia para direcionar alvos.

Os militares dos EUA afirmam que ainda estão investigando o ataque a Minab. Não informaram qual foi o papel, se é que houve algum, do sistema de IA no envio de um míssil contra o prédio.

O New York Times noticiou logo no início que o sistema poderia estar utilizando dados antigos . A correspondente estrangeiradent Loveluck escreveu no X que o ataque pode ter sido “baseado em informações de inteligência com uma década de idade” e que qualquer pessoa que consultasse imagens de satélite recentes gratuitamenteonlineteria visto “uma escola com um campo de esportes” em um dos locais marcados para o ataque.

O cientista da computação Anh Totti Nguyen pesquisou onde os sistemas de visão computacional com inteligência artificial falham. Seu artigo, "Modelos de linguagem visual são cegos: falhando na tradução de características visuais detalhadas em palavras", descobriu que esses sistemas frequentemente falham quando duas estruturas estão muito próximas uma da outra, e o software precisa determinar qual é qual.

Imagens de satélite do New York Times mostram a escola primária Shajarah Tayyebeh situada ao lado de um complexo da Guarda Revolucionária Islâmica (IRGC) em Minab, exatamente a configuração que a pesquisa de Nguyen apontou.

Emilia Probasco, ex-oficial da Marinha e pesquisadora sênior do Centro de Segurança e Tecnologias Emergentes, afirmou no podcast que a responsabilidade recai sobre o comandante que deu a ordem. É assim que as forças armadas funcionam. Ela disse que o problema da caixa preta, a impossibilidade de ver como um sistema de IA chegou à sua resposta, é “uma área de pesquisa em andamento, não um problema resolvido”.

Antes da guerra, a Anthropic, empresa cuja tecnologia está presente no Maven, entrou em uma contratualtraccom o Departamento de Defesa sobre dois pontos: se a IA é confiável o suficiente para decisões de vida ou morte e se o uso de IA para conectar pontos de dados dispersos a transforma em uma ferramenta de vigilância em massa.

Probasco afirmou que ambas as preocupações são válidas, mas observou "a situação delicada de uma empresa privada definir limites sobre como as forças armadas conduzem suas operações".

Holland Michel disse que a conversa continua a se voltar para o pior cenário possível: uma máquina que escolhe alvos e atira sem intervenção humana . Esse risco é real, afirmou, mas não é o que está acontecendo agora .

“O mais árduo e imediato ”, disse ele, “é tornar os sistemas de IA mais transparentes e garantir que os humanos que dependem de seus resultados tomem decisões genuinamente informadas, e não simplesmente acatem o que a máquina sugere.”

Conteúdo de guerra gerado por IA também estava se espalhando rapidamente online.

A BBC Verify traccriados por inteligência artificial e imagens de satélite manipuladas sobre o conflito, que acumularam centenas de milhões de visualizações.

Timothy Graham, pesquisador de mídia digital da Universidade de Tecnologia de Queensland, afirmou: “A escala é verdadeiramente alarmante e esta guerra tornou impossível ignorá-la agora”. Ele acrescentou: “O que antes exigia produção de vídeo profissional agora pode ser feito em minutos com ferramentas de IA. A barreira para a criação de imagens sintéticas convincentes de conflitos praticamente desapareceu”.

A X afirmou que excluiria criadores de seu sistema de pagamento caso publicassem vídeos de guerra gerados por IA sem a devida autorização. Mahsa Alimardani, pesquisadora do Instituto de Internet de Oxford que cobre o Irã, considerou a medida “um sinal importante de que eles perceberam que este é um grande problema”. Meta e TikTok não responderam quando questionados se planejavam fazer o mesmo.