Les pirates étatiques échouent à prendre l'avantage grâce à l'IA, révèle le rapport d'OpenAI

Entreprises technologiques et responsables gouvernementaux maintenir mettent en garde contre le risque que l'intelligence artificielle devienne une arme dangereuse entre les mains d'ennemis étrangers, mais de nouvelles preuves racontent une histoire différente. Des rapports récents montrent que des groupes parrainés par des États utilisent les mêmes outils accessibles au public que les utilisateurs ordinaires d'Internet, et rencontrent souvent les mêmes difficultés.

OpenAI a récemment partagé des détails sur la façon dont des groupes liés au gouvernement ont essayé d'utiliser leurs plateformes.

Le cas le plus notable est venu d'une campagne d'influence chinoise qui a été exposée par accident lorsqu'un responsable chinois des forces de l'ordre a utilisé ChatGPT comme un journal personnel. Le responsable a écrit au sujet d'une opération ciblant des critiques chinois vivant dans d'autres pays.

La campagne impliquait des centaines d'opérateurs et des milliers de faux comptes sur les réseaux sociaux, selon OpenAI.

L'opération tentait d'usurper l'identité d'agents de l'immigration américaine pour effrayer un dissident en affirmant faussement que ses déclarations publiques violaient la loi américaine. Dans d'autres cas, les opérateurs ont utilisé des documents falsifiés prétendant émaner d'un tribunal de comté pour tenter de faire supprimer les comptes de réseaux sociaux des critiques.

Faux avis de décès et documents falsifiés dans le cadre d'une campagne de harcèlement

Ils ont créé un faux avis de décès et des photos de pierres tombales pour répandre de fausses rumeurs sur la mort d'un dissident. Ces rumeurs sont en fait apparu en ligne en 2023, a confirmé un article de la Voice of America en langue chinoise. Ben Nimmo, qui dirige les enquêtes chez OpenAI, a qualifié l'effort industrialisé comme un harcèlement ciblant les critiques du Parti communiste chinois par le biais de multiples canaux.

L'utilisation de ChatGPT comme outil de tenue de registres a fini par exposer l'opération. ChatGPT servait de journal à l'agent pour suivre le réseau clandestin, tandis que d'autres outils généraient la majeure partie du contenu qui était diffusé sur les réseaux sociaux. OpenAI a banni l'utilisateur après avoir détecté cette activité.

Les enquêteurs d'OpenAI ont mis en correspondance les descriptions de l'utilisateur de ChatGPT avec des activités en ligne réelles. L'utilisateur décrivait la fausse mort d'un dissident chinois en créant un avis de décès fictif et des photos de pierre tombale à publier en ligne.

Dans un autre cas, l'utilisateur de ChatGPT a demandé au système d'élaborer un plan pour nuire à la réputation de la future Première ministre japonaise Sanae Takaichi en alimentant la colère autour des tarifs douaniers américains. ChatGPT a refusé. Mais fin octobre, lorsque Takaichi a pris ses fonctions, des hashtags sont apparus sur un forum populaire d'artistes graphiques japonais, l'attaquant et se plaignant des tarifs douaniers.

Le rapport d'OpenAI couvrait également plusieurs opérations d'arnaque originaires du Cambodge qui utilisaient la plateforme pour des fraudes sentimentales et d'investissement, ainsi que des campagnes d'influence liées à la Russie ciblant l'Argentine et l'Afrique.

Le rapport de Microsoft montre des schémas d'utilisation basiques similaires

Microsoft a publié un rapport distinct conjointement avec OpenAI examinant la manière dont les acteurs étatiques de Russie, Corée du Nord, Iran et Chine expérimentent les grands modèles de langage pour soutenir des opérations de cyberattaques. Les deux entreprises ont fait avorter les efforts de cinq acteurs affiliés à des États en fermant leurs comptes.

Le rapport de Microsoft a found these acteurs principalement voulaient utiliser les services pour des tâches simples telles que la recherche d'informations publiquement disponibles, la traduction de contenu, la correction d'erreurs de code et l'exécution de tâches de programmation de base. Aucune attaque majeure ou nouvelle utilisant ces modèles n'a été détectée à ce jour.

Cet écart entre la crainte et la réalité se produit dans le contexte d'une concurrence tendue entre Washington et Pékin pour le contrôle de cette technologie. Le rôle qu'elle y joue dans les domaines militaire et économique est devenu un enjeu majeur de conflit. Le Pentagone a récemmentindiqué à une autre entreprise, Anthropic, qu'il lui restait jusqu'à vendredi pour retirer certaines fonctionnalités de sécurité de son modèle, sous peine de perdre un contrat de défense.

Microsoft a déclaré travailler sur des principes visant à réduire les risques liés à une mauvaise utilisation de ces outils par des groupes étatiques et des organisations criminelles. Ces principes incluent l'identification et l'arrêt des utilisateurs malveillants, l'information des autres fournisseurs de services, la collaboration avec d'autres groupes et la transparence.