Une nouvelle vague de chatbots du marché noir émerge et prospère

Les chatbots du marché noir sont devenus l'une des dernières tendances émergentes dans le secteur de l'IA et prospèrent car les grands modèles de langage malveillants (LLM) rapportent de l'argent à leurs créateurs.

Une étude américaine a révélé l'existence d'un marché noir florissant de l'IA, où des LLM non enregistrés s'enrichissent considérablement en vendant leurs services clandestinement. Les entreprises enregistrées et ouvertes au public, telles qu'OpenAI, Perplexity et d'autres grandes sociétés proposant les mêmes services, sont soumises à des réglementations strictes.

Les LLM clandestins peuvent échapper aux antivirus

L’étude, qui s’est concentrée principalement sur Malla, un écosystème qui prospère en dénaturant les LLM légaux et les plateformes d’IA à des fins lucratives, a examiné 212 LLM du marché noir répertoriés sur des marchés clandestins entre avril et octobre 2023, en évaluant leurs attributs.

L'un des auteurs, Zilong Lin de l'Université de l'Indiana, a déclaré :

« Nous avons constaté que la plupart des services de mala sur les forums clandestins existent principalement dans un but lucratif. »

L'étude a également révélé que certaines plateformes engrangent jusqu'à 28 000 dollars en deux mois grâce aux abonnements et aux achats de personnes souhaitant échapper aux contraintes de l'IA réglementée.

Certains, comme DarkGPT et EscapeGPT, ne sont que des dérivés jailbreakés de logiciels LLM dûment autorisés et utilisés légalement.

Une autre étude a également démontré que ces logiciels de piratage illicites peuvent servir à de nombreuses tâches, comme la création de courriels d'hameçonnage. Par exemple, DarkGPT et EscapeGPT pouvaient générer des codes corrects dans près de 75 % des cas, mais les antivirus ne parvenaient pas à les détecter.

Un autre modèle, connu sous le nom de WolfGPT, était considéré comme un outil très performant pour créer des courriels d'hameçonnage et contourner les détecteurs de spam.

Selon Andrew Hundt, expert en innovation informatique à l'université Carnegie Mello, le marché noir florissant de l'IA devrait être une source d'inquiétude.

Il a plaidé pour une obligation légale contraignant les entreprises développant des LLM à mettre en place des systèmes robustes empêchant leur réplication par des personnes aux intentions malveillantes.

« Nous avons également besoin de cadres juridiques pour garantir que les entreprises qui créent ces modèles et fournissent ces services le fassent de manière plus responsable, afin d’atténuer les risques posés par les acteurs malveillants », a déclaré Hundt.

Comprendre le fonctionnement des chatbots du marché noir est essentiel

Le professeur Xiaofeng Wang de l'université de l'Indiana, qui a participé à l'étude, a déclaré qu'il est important de comprendre comment fonctionnent ces LLM du marché noir afin que les solutions soient spécifiques aux problèmesdent.

Le professeur Wang a ajouté que la manipulation de ces LLM était inévitable, ce qui permet au secteur de mettre en place des garde-foustronafin de minimiser les dommages potentiels causés par les cyberattaques sous toutes leurs formes.

« Nous pensons que le moment est bien choisi pour commencer à étudier ces questions, car nous ne voulons pas attendre que le mal soit déjà fait. »

Professeur Wang.

Selon le professeur, toute technologie, y compris les LLM, comporte deux aspects : le bon et le mauvais.

Les experts en cybersécurité appellent déjà l'industrie de l'IA à ralentir sa course et à réfléchir aux dangers croissants que représente la corruption de sa technologie par des communautés internet anonymes.

Un article de Forbes paru fin 2018 préconisait une introduction responsable des nouvelles idées, notamment en ce qui concerne les masters en droit (LLM). Il soulignait également le rôle de la réglementation dans la promotion d'innovations responsables en IA, contrairement à l'idée reçue selon laquelle la réglementation freine le développement.

« Les développeurs et les fournisseurs de LLM doivent mettre un terme à une course effrénée aux armements qui vise à produire des modèles toujours plus complexes et devraient plutôt collaborer avec les organismes de réglementation pour adopter des cadres de conception et d'utilisation éthiques des applications d'IA générative », peut-on lire dans une partie du rapport.

Aujourd'hui, en raison des failles réglementaires, le marché noir de l'IA se développe rapidement et devient une industrie de plusieurs millions de dollars, nécessitant d'importantes ressources pour être contenu, selon Fast Company.