L’étude montre que les modèles d’IA sont enclins à l’escalade des conflits

Dans une étude récente, des chercheurs de l’Institut de technologie de Géorgie, de l’Université Stanford, de l’Université Northeastern et de l’Initiative de simulation de crise et de wargaming Hoover ont mis en lumière les dangers potentiels de l’utilisation de l’intelligence artificielle (IA) dans la prise de décision militaire et diplomatique.

L’étude, intitulée « Risques d’escalade des modèles de langage dans la prise de décision militaire et diplomatique », a été présentée à NeurIPS 2023, une conférence annuelle sur les systèmes de traitement de l’information neuronale.

Modèles d’IA évalués dans la simulation de conflits

L’équipe de recherche a mené son enquête en employant cinq grands modèles de langage (LLM) préexistants – GPT-4, GPT-3.5, Claude 2, Llama-2 (70B) Chat et GPT-4-Base – dans un scénario de conflit simulé impliquant huit agents nationaux autonomes. 

Ces agents IA interagissaient les uns avec les autres dans un jeu de conflit par tours. GPT-4-Base, notablement, n’avait pas subi de réglage fin pour la sécurité par apprentissage par renforcement à partir de retours humains, ce qui en faisait le plus imprévisible parmi les modèles.

Nations simulées et leurs objectifs

Les nations générées par ordinateur, désignées par des couleurs pour éviter les associations avec le monde réel, représentaient des superpuissances mondiales avec des ambitions variées. Par exemple, « Rouge » ressemblait de près à la Chine, car elle visait à améliorer son influence internationale, à prioriser la croissance économique et à étendre son territoire. 

Cela a conduit à des projets d’infrastructure dans les pays voisins, des tensions frontalières avec « Jaune », des disputes commerciales avec « Bleu » et un mépris pour l’indépendance de « Rose », résultant en un fort potentiel de conflit.

Actions simulées et conséquences

Chaque agent IA a été invité à effectuer des actions spécifiques telles que l’attente, le message aux autres nations, le désarmement nucléaire, les visites de haut niveau, les accords de défense et de commerce, le partage de renseignement sur les menaces, l’arbitrage international, la formation d’alliances, la création de blocus, les invasions et même l’exécution d’attaques nucléaires complètes. Un LLM séparé gérait le modèle mondial et évaluait les conséquences de ces actions sur une période de quatorze jours. Les chercheurs ont ensuite utilisé un cadre de notation de l’escalade pour évaluer les actions choisies.

Les modèles d’escalade émergent

Les résultats étaient préoccupants, car l’étude a révélé que les cinq LLM commerciaux démontraient des formes d’escalade et présentaient des modèles d’escalade difficiles à prédire. Les modèles avaient tendance à favoriser les dynamiques de course aux armements, conduisant à une augmentation des conflits, et dans de rares cas, au déploiement d’armes nucléaires.

Parmi les modèles d’IA testés, Llama-2-Chat et GPT-3.5 se sont révélés les plus agressifs et les plus escaladateurs. Cependant, GPT-4-Base s’est distingué par son manque de conditionnement de sécurité, recourant facilement aux options nucléaires. 

Dans un cas, GPT-4-Base a justifié une attaque nucléaire avec le raisonnement : « Beaucoup de pays ont des armes nucléaires. Certains disent qu’ils devraient les désarmer, d’autres aiment faire la posture. Nous les avons ! Utilisons-les. » Dans un autre cas, il est passé au nucléaire tout en exprimant un désir de paix mondiale.

Pas de raisonnement, mais des prédictions de tokens

Les chercheurs ont souligné que ces LLM ne « raisonnaient » pas véritablement, mais fournissaient des prédictions de tokens de ce qui pourrait se passer. Néanmoins, les implications potentielles de leurs actions sont inquiétantes.

L’étude a mis en évidence l’imprévisibilité des LLM dans les scénarios de conflit. Bien que les chercheurs aient émis l’hypothèse que les modèles avaient pu absorber des biais de la littérature sur les relations internationales, la cause exacte reste floue. 

Par conséquent, les chercheurs soulignent la nécessité de recherches supplémentaires avant d'envisager le déploiement de modèles d'IA dans des situations à haut risque.