Dans le premier monde de la guerre IA : erreurs de ciblage, désinformation et lacunes en matière de responsabilité

Une école a été bombardée dans la ville iranienne du sud de Minab le premier jour des frappes américaines et israéliennes contre l'Iran. Plus de 175 personnes sont mortes, y compris des écoliers. Ni Washington ni Tel Aviv n'ont dit ce qui s'est passé. Personne n'a pris la responsabilité. Une question revient constamment : Un système d'IA a-t-il ciblé la mauvaise cible ?… a déclaré dit ce qui s'est passé. Personne n'a pris la responsabilité. Une question revient constamment : Un système d'IA ont atteint a-t-il ciblé?

Dans les 24 premières heures, les forces américaines ont frappé environ 1 000 sites, soit environ 42 par heure. Un rapport du CSET sur la 18th Airborne Corps a révélé qu'avec le Maven Smart System, 20 personnes pourraient faire ce qui nécessitait auparavant une équipe de 2 000 personnes au Combined Air Operations Center en Irak. À la fin de l'année 2024, les États-Unis avaient intégré un modèle de langage de grande taille, le même type de logiciel derrière les chatbots grand public, dans Maven. Il s'agissait de l'une des premières guerres à utiliser cette technologie pour le ciblage.

L'armée américaine déclare qu'elle examine toujours la frappe de Minab. Elle n'a pas indiqué quelle part, le cas échéant, le système d'IA avait eue dans l'envoi d'un missile sur ce bâtiment.

Le New York Times a rapporté tôt que le système pouvait fonctionner sur d'anciennes données. La correspondante étrangère Louisa Loveluck a écrit sur X que la frappe pouvait être « basée sur des renseignement qui datait d'une décennie », et que quiconque vérifiant les images satellites récentes gratuitement en ligne aurait vu « une école avec un terrain de sport » sur l'un des sites marqués pour l'attaque.

Le scientifique informatique Anh Totti Nguyen a recherché où les systèmes de vision par IA font des erreurs. Son article, « Les modèles de langage visuel sont aveugles : échec à traduire les caractéristiques visuelles détaillées en mots », a révélé que ces systèmes échouent souvent lorsque deux structures sont proches l'une de l'autre, et que le logiciel doit déterminer laquelle est laquelle.

Les images satellites du New York Times montrent l'école élémentaire Shajarah Tayyebeh située juste à côté d'un complexe du CGRI à Minab, la configuration exacte que la recherche de Nguyen avait signalée.

Emilia Probasco, ancienne officier de la Marine et chercheuse principale au Center for Security and Emerging Technology, a déclaré dans le podcast The Four que la responsabilité incombe au commandant qui a donné l'ordre. C'est ainsi que fonctionne l'armée. Elle a indiqué que le problème de la « boîte noire », c'est-à-dire l'incapacité de comprendre comment un système d'IA parvient à ses conclusions, constitue « un domaine de recherche en cours, et non une question résolue ».

Avant la guerre, Anthropic, l'entreprise dont la technologie est intégrée dans Maven, s'est retrouvée dans un litige contractuel avec le Département de la Défense sur deux points: si l'IA est suffisamment fiable pour des décisions de vie ou de mort, et si l'utilisation de l'IA pour relier des points de données épars en fait un outil de surveillance de masse.

Probasco a déclaré que les deux préoccupations sont valables, mais a noté « l'awkwardness d'une entreprise privée traçant des lignes sur la façon dont une miltiaire mène ses opérations. »

Holland Michel a déclaré que la conversation dérive constamment vers le pire scénario. Une machine qui choisit des cibles et tire sans aucune implication humaine. Ce risque est réel, a-t-il dit, mais ce n'est pas ce qui se passe actuellement.

« Le travail plus difficile et plus immédiat », a-t-elle déclaré, « consiste à rendre les systèmes d'IA plus transparents et à garantir que les humains qui s'appuient sur leurs résultats prennent des décisions véritablement éclairées, et non qu'ils se contentent de se soumettre à ce que la machine suggère ».

Le contenu de guerre généré par l'IA se propageait également vite en ligne

BBC Verify a suivi les vidéos fabriquées par l'IA et les images satellites truquées concernant le conflit qui ont attiré des centaines de millions de vues.

Timothy Graham, chercheur en médias numériques à l'Université de technologie du Queensland, a déclaré : « La échelle est véritablement alarmante et cette guerre rend impossible de l'ignorer maintenant. » Il a ajouté, « Ce qui nécessitait autrefois une production vidéo professionnelle peut désormais être réalisé en quelques minutes avec des outils d'IA. Le seuil pour créer des images de conflit synthétiques convaincantes s'est essentiellement effondré .

X a déclaré qu'il exclurait les créateurs de son schéma de paiement s'ils publiaient des vidéos de guerre fabriquées par l'IA sans étiquette. Mahsa Alimardani, chercheuse à l'Oxford Internet Institute qui couvre l'Iran, a qualifié cela d'« un signal notable qu'ils ont remarqué que c'est un gros problème. » Meta et TikTok n'ont pas répondu lorsqu'on leur a demandé s'ils prévoyaient de faire de même.