OpenAI signale une utilisation malveillante croissante de ChatGPT par des groupes chinois

OpenAI a révélé une forte augmentation de l'utilisation clandestine de ses outils, notamment par des groupes chinois qui exploitent sa plateforme ChatGPT à des fins malveillantes.

Depuis le lancement de ChatGPT en novembre 2022 et son succès immédiat, des inquiétudes ont été soulevées quant à ses conséquences potentielles, compte tenu de sa capacité à générer des contenus audio, textuels, visuels et vidéo d'un réalisme saisissant. OpenAI publie régulièrement des rapports sur les activités malveillantes sur ses plateformes, comme la diffusion de faux contenus sur des sites web.

OpenAI démantèle 10 campagnes distinctes utilisant abusivement ses outils

Dans un rapport publié jeudi, la société basée à San Francisco a révélé avoir récemment démantelé dix campagnes distinctes exploitant ses outils d'intelligence artificielle. Parmi celles-ci, quatre étaient orchestrées par des groupes liés à la Chine, tandis que d'autres, de moindre envergure, étaient liées à d'autres pays.

Selon Ben Nimmo, enquêteur principal de l'équipe d'investigation d'OpenAI, ces opérations liées à la Chine ont déployé un large éventail de tactiques sur de multiples plateformes en ligne.

« Nous constatons un élargissement de la palette d'outils », a-t-il déclaré aux journalistes.

« Certaines campagnes combinaient opérations d'influence, ingénierie sociale et surveillance, et elles s'étendaient sur des plateformes allant de TikTok et X à Reddit et Facebook. »

Nimmo.

L'un des exemples les plus marquants, baptisé « Sneer Review », utilisait ChatGPT pour diffuser de courts messages et commentaires en anglais, en chinois et en ourdou. Ces messages abordaient des sujets tels que la dissolution de l'Agence américaine pour le développement international (USAID), avec des réactions tantôt favorables, tantôt défavorables, ainsi que la critique d'un jeu vidéo de stratégie taïwanais présenté comme une attaque contre le parti au pouvoir en Chine.

D'après le rapport d'OpenAI, dans la plupart des cas, l'opération a non seulement créé des publications originales, mais aussi des réponses, donnant ainsi l'apparence d'un véritable débat. Ces mêmes groupes ont également publié un long article faisant état d'une forte indignation publique contre le jeu.

L'équipe de « Sneer Review » a également utilisé ChatGPT pour rédiger des documents internes et des évaluations de performance, détaillant chaque étape de la mise en œuvre de la campagne. Les analystes d'OpenAI ont constaté que le comportement réel sur les réseaux sociaux reflétait fidèlement ces auto-évaluations, soulignant ainsi comment l'IA peut optimiser à la fois l'influence sur le terrain et la gestion administrative.

Le rapport a également révélé qu'un autre réseau lié à la Chine se concentrait sur le renseignement, se faisant passer pour des journalistes et des analystes géopolitiques. Ce réseau utilisait un chatbot pour créer de faux profils sur la plateforme X, traduire des communications entre le chinois et l'anglais, et même rédiger des messages destinés à un sénateur américain au sujet d'une nomination fédérale.

Des groupes d'autres pays ont également fait un usage abusif des outils d'OpenAI

Outre les opérations chinoises, le rapport note que russes et iraniens ont également tenté d'utiliser ChatGPT pour exercer une influence en lien avec les élections, faisant écho aux inquiétudes concernant le rôle de l'IA générative dans la formation de l'opinion publique.

Aux Philippines, une société de marketing a été impliquée dans une campagne de spam, tandis qu'une arnaque au recrutement liée au Cambodge a également été mise au jour. L'entreprise a par ailleurs signalé une autre initiative d'emploi ayant des intérêts nord-coréens.

Ces menaces coïncidaient avec un rapport de février précédent dans lequel OpenAI découvrait une initiative de surveillance liée à la Chine. Cette campagne aurait surveillé en temps réel les manifestations occidentales, fournissant des résumés aux services de sécurité chinois. ChatGPT aurait facilité diverses tâches, du débogage de code à la rédaction d'argumentaires de vente pour des logiciels de surveillance.

Nimmo a indiqué que la plupart de ces opérations avaient été détectées et stoppées, bien qu'elles semblassent utiliser des outils sophistiqués.

« L’IA avancée ne se traduit pas nécessairement par des résultats plus efficaces », a-t-il observé. De fait, les rapports réguliers d’OpenAI sur les menaces indiquent que si les modèles génératifs peuvent accélérer la création de contenu, ils ne garantissent ni une véritable influence ni une large trac.

Suite à ces constatations, OpenAI a continué d'améliorer ses mécanismes de surveillance et de contrôle. L'entreprise bloque les comptes liés aux opérations détectées et supprime tous ceux impliqués dans la création de logiciels malveillants, la diffusion de messages politiques automatisés ou de contenus trompeurs.

Lors de sa dernière campagne de suppression de comptes, OpenAI a démantelé des comptes qui publiaient des controverses géopolitiques liées à la Chine, notamment de fausses allégations contre des militants au Pakistan ainsi que des commentaires sur tarifaire .

Malgré ses succès, OpenAI reconnaît également la nature à double tranchant de l'IA générative, à la fois outil d'innovation et outil de désinformation.