OpenAI signale une utilisation malveillante croissante de ChatGPT par des groupes chinois

OpenAI a révélé qu'il y a une augmentation de l'utilisation clandestine de ses outils, en particulier liée à des groupes chinois qui profitent de sa plateforme ChatGPT pour des raisons malveillantes.

Depuis le lancement de ChatGPT en novembre 2022 et son succès immédiat, des préoccupations ont émergé quant à ses conséquences potentielles basées sur sa capacité à générer de l'audio, du texte, des images et des vidéos semblables à ceux d'un humain. Et OpenAI a régulièrement publié des rapports sur toute activité malveillante sur ses plateformes, comme du contenu falsifié pour des sites web.

OpenAI démantèle 10 campagnes distinctes abusant de ses outils

Dans un rapport publié jeudi, l'entreprise basée à San Francisco a révélé qu'elle avait récemment démantelé dix campagnes distinctes profitant de ses outils d'IA. Parmi celles-ci, quatre étaient organisées par des groupes liés à la Chine, tandis que des schémas à plus petite échelle étaient liés à d'autres pays.

Selon Ben Nimmo, chercheur principal sur l'équipe d'enquête d'OpenAI, ces opérations liées à la Chine ont déployé une large gamme de tactiques sur de multiples plateformes en ligne.

« Nous observons une boîte à outils en expansion », a-t-il déclaré aux journalistes.

« Certaines campagnes ont mélangé des opérations d'influence, l'ingénierie sociale et la surveillance, et elles s'étendaient sur des plateformes allant de TikTok et X à Reddit et Facebook. »

Nimmo.

L'un des exemples clés, baptisé « Sneer Review », a utilisé ChatGPT pour diffuser de courts posts et commentaires en anglais, chinois et ourdou. Ceux-ci couvraient des sujets tels que la dissolution de l'Agence des États-Unis pour le développement international, tantôt applaudissant tantôt critiquant la décision, et la critique d'un jeu vidéo de stratégie taïwanais présentée comme une attaque contre le parti dirigeant chinois.

Selon le rapport d'OpenAI, dans la plupart des cas, l'opération a créé non seulement des posts originaux mais aussi des réponses, donnant l'impression d'un débat « authentique ». Les mêmes groupes ont également créé un article de fond affirmant une vive opposition publique contre le jeu.

Le « Sneer Review » a également utilisé ChatGPT pour rédiger des documents internes et des évaluations de performance, détaillant chaque étape de l'exécution de la campagne. Les analystes d'OpenAI ont découvert que le comportement réel sur les réseaux sociaux faisait écho à ces auto-évaluations, soulignant comment l'IA peut rationaliser à la fois l'influence de première ligne et la gestion de back-office.

Le rapport a également montré qu'un autre réseau lié à la Chine se concentrait sur la collecte de renseignements, se faisant passer pour des journalistes et des commentateurs géopolitiques. Ils ont utilisé le chatbot pour créer des biographies de comptes sur X, traduire des communications entre le chinois et l'anglais, et même créer des messages adressés à un sénateur américain concernant une nomination fédérale.

Des groupes d'autres pays ont également mal utilisé les outils d'OpenAI

En plus des opérations chinoises, le rapport note que des acteurs russe et iranien ont également essayé d'utiliser ChatGPT pour influencer les élections, faisant écho aux préoccupations concernant le rôle de l'IA générative dans la formation de l'opinion publique.

Aux Philippines, une agence de marketing commercial était liée à une campagne de spam, tandis qu'une arnaque au recrutement liée au Cambodge a également fait surface. L'entreprise a également signalé une autre initiative d'emploi avec des intérêts nord-coréens.

Toutes ces menaces coïncidaient avec un rapport précédent de février dans lequel OpenAI avait découvert une initiative de surveillance affiliée à la Chine. Cette campagne aurait surveillé les manifestations occidentales en temps réel, fournissant des résumés aux agences de sécurité chinoises et ChatGPT facilitait tout, du débogage de code à la rédaction de pitches de vente pour des logiciels de surveillance.

Nimmo a indiqué que la plupart de ces opérations ont été détectées et arrêtées, bien qu'elles semblaient utiliser des outils sophistiqués.

« L'IA avancée ne se traduit pas nécessairement par des résultats plus efficaces », a-t-il observé. En effet, les rapports réguliers sur les menaces d'OpenAI suggèrent que si les modèles génératifs peuvent accélérer la création de contenu, ils ne garantissent pas une influence réelle ou une traction généralisée.

En réponse à ces constatations, OpenAI a continué de perfectionner ses mécanismes de surveillance et d'application. L'entreprise bannit les comptes liés aux opérations détectées et supprime tous ceux qui sont impliqués dans la création de logiciels malveillants, de messages politiques automatisés ou de contenus trompeurs.

Lors de son dernier round, OpenAI a supprimé des comptes qui ont publié des controverses géopolitiques liées à la Chine, y compris de fausses allégations contre des activistes au Pakistan ainsi que des commentaires sur les politiques de tarifs de Trump.

Malgré les succès d'OpenAI, l'entreprise reconnaît également la nature à double tranchant de l'IA générative, à la fois outil d'innovation et outil de désinformation.