Une nouvelle arnaque liée à l'IA a fait surface, mettant en scène des milliers d'influenceurs générés par l'IA qui ont inondé les réseaux sociaux comme Instagram en utilisant des images volées de personnes réelles.
L'escroquerie consiste notamment à voler des vidéos de vrais mannequins et créateurs de contenu pour adultes, à leur attribuer des visages générés par IA et à monétiser leurs corps grâce à des liens vers des sites de rencontre comme Patreon, des concours OnlyFans et diverses applications d'IA.
Sur Instagram, les influenceurs générés par l'IA rivalisent avec les humains
En avril, 404 Media a été le premier média à signaler cette pratique, dès son apparition. Celle-ci est depuis devenue une tendance populaire, laissant penser à beaucoup que le réseau social géré par Meta est incapable ou refuse d'enrayer ce phénomène sur sa plateforme.
Cette situation survient alors que les créateurs de contenu humains sur Instagram affirment être désormais en concurrence avec le contenu généré par l'IA, ce qui impacte leur viabilité.
Grâce à certains outils et applications d'IA prêts à l'emploi disponibles sur l'App Store d'Apple et le Google Play Store, les influenceurs utilisant l'IA peuvent désormais créer et monétiser facilement leurs comptes. D'après Wired, plus de 1 000 comptes Instagram générés par l'IA et des serveurs Discord où les créateurs de ce contenu partagent des conseils et discutent de stratégies, ainsi que plusieurs guides expliquant comment gagner de l'argent grâce à l'IA, ont été analysés.
Wired a découvert que le problème, autrefois mineur sur Instagram, était devenu une pratique courante, conformément à plusieurs prédictions sur l'avenir des médias sociaux, où le contenu généré par l'IA éclipse celui des humains.
Les créateurs de contenu pour adultes qui font la promotion de leur travail sur Instagram s'inquiètent désormais de la concurrence directe avec ces comptes frauduleux utilisant l'IA, dont beaucoup utilisent des photos et des vidéos volées à des créateurs de contenu pour adultes et à des mannequins Instagram.
Elaina St James, créatrice de contenu pour adultes, a déclaré que même si d'autres modifications de l'algorithme d'Instagram pourraient avoir contribué à cette baisse, depuis l'explosion des comptes d'influenceurs générés par IA sur Instagram, sa « portée a considérablement diminué », passant d'un à cinq millions de vues par mois en moyenne. Elle n'a pas atteint le million de vues ces dix derniers mois, et il lui arrive même de descendre sous les 500 000 vues.
« C’est probablement l’une des raisons pour lesquelles mes audiences sont en baisse. C’est parce que je suis en concurrence avec quelque chose d’artificiel. » St James.
Alexios Mantzarlis, directeur de l'initiative de sécurité, de confiance et de sûreté à Cornell Tech et ancien responsable du renseignement sur la confiance et la sécurité chez Google, a compilé une liste d'environ 900 comptes dans la recherche de 404 Media.
Mantzarlis a déclaré que cela n'avait rien de totalement nouveau ni de surprenant, car il s'agissait simplement de confirmer des prédictions faites précédemment concernant la technologie de l'IA et son adoption sur les plateformes de médias sociaux.
« Cela ressemblait peut-être à un signe de ce à quoi ressembleront les médias sociaux dans cinq ans », a déclaré Mantzarlis.
« Parce que cela risque de toucher d'autres parties d'Internet, et pas seulement le créneau des personnestracsur Instagram. C'est probablement le signe que la situation va être assez grave. »
Mantzarlis.
Sur plus de 1 000 comptes d'influenceurs Instagram générés par l'IA, au moins 100 incluaient du contenu deepfake qui prenait des vidéos existantes, généralement de mannequins et d'artistes de divertissement pour adultes, et remplaçait leurs visages par un visage généré par l'IA pour donner aux vidéos un aspect neuf.
Les vidéos auront l'apparence d'un contenu nouveau et original, cohérent avec les autres images et vidéos générées par l'IA et partagées par l'influenceur généré par l'IA.
Instagram prendra des mesures suite à la réception des plaintes
Instagram a déclaré qu'il n'interviendrait que si les comptes étaient signalés par leur propriétaire légitime ou une personne autorisée à le faire en son nom. Cependant, de nombreux influenceurs affirment que ce mécanisme est inefficace, car ils doivent gérer un trop grand nombre de comptes usurpant leur identité.
St James a ajouté que le fait que nombre de ces comptes d'influenceurs générés par l'IA soient gérés par moi-même est une véritable insulte.
« Nous, les femmes, gagnons moins d’argent dans le monde. Nous sommes désavantagées à bien des égards. Un domaine où nous avons un avantage, c’est celui des influenceuses et du mannequinat ; c’est un atout supplémentaire », a déclaré St James.
« Ça me choque un peu qu'il s'agisse d'un homme qui gagne de l'argent en se faisant passer pour une femme », a-t-elle ajouté.
Apple, qui n'a jusqu'à présent pas réussi à résoudre le problème de la « double utilisation » des applications de remplacement de visages qui peuvent être utilisées innocemment mais sont souvent utilisées pour créer du contenu non consensuel, a retiré l'application de l'App Store après avoir été interrogée à ce sujet.
