Les influenceurs générés par l’IA inondent Instagram et d’autres plateformes avec des identités volées

Une nouvelle arnaque liée à l’IA a fait surface, mettant en vedette des milliers d’influenceurs générés par l’IA qui ont inondé des sites sociaux comme Instagram en utilisant des images volées de vraies personnes.

L’arnaque comprend le vol de vidéos de vraies mannequins et créatrices de contenu pour adultes, leur attribution de visages générés par l’IA, et la monétisation de leurs corps avec des liens vers des sites de rencontres, par exemple Patreon, OnlyFans, des concours et diverses applications IA.

Les influenceurs générés par l’IA entrent en concurrence avec les humains sur Instagram

En avril, 404 Media a rapporté cette pratique pour la première fois, lorsqu’elle a fait surface. La pratique s’est maintenant transformée en une tendance populaire qui a laissé beaucoup supposer que le réseau social géré par Meta est soit incapable, soit peu disposé à arrêter cette tendance apparente sur sa plateforme.

Cela survient alors que les créateurs de contenu humains sur Instagram affirment qu’ils sont désormais en concurrence avec le contenu IA d’une manière qui affecte désormais leur viabilité.

Avec certains outils et applications IA grand public hébergés sur les App Store d’Apple et Google Play, les influenceurs IA peuvent désormais facilement créer et monétiser leurs comptes. Selon Wired, ils ont examiné plus de 1 000 comptes Instagram générés par l’IA et des canaux Discord où les personnes qui créent ce contenu partagent des conseils, discutent de stratégie et plusieurs guides expliquant comment gagner de l’argent grâce au « proxénétisme IA ».

Wired a découvert que le problème, qui était auparavant mineur sur Instagram, s’était transformé en une pratique massive, conformément à plusieurs prédictions sur le futur paysage des réseaux sociaux, où le contenu généré par l’IA éclipsera celui des humains.

Les créateurs de contenu pour adultes qui promeuvent leur travail sur Instagram s’inquiètent désormais de concurrencer directement ces comptes IA copiés, dont beaucoup utilisent des photographies et des vidéos volées à des créateurs de contenu pour adultes et des mannequins Instagram.

Elaina St James, créatrice de contenu pour adultes, a déclaré que bien qu’il puisse y avoir d’autres changements dans l’algorithme d’Instagram qui y ont contribué, depuis l’explosion des comptes d’influenceurs générés par l’IA sur Instagram, sa « portée a diminué considérablement », passant d’un million à 5 millions de vues mensuelles typiques. Elle n’a pas atteint un million de vues au cours des 10 derniers mois, et parfois descend en dessous de 500 000 vues.

« C’est probablement l’une des raisons pour lesquelles mes vues diminuent. C’est parce que je suis en concurrence avec quelque chose d’antinodeux. » St James.

Alexios Mantzarlis, directeur de l’initiative de sécurité, de confiance et de sécurité à Cornell Tech et ancien responsable principal de l’intelligence en matière de confiance et de sécurité chez Google, a compilé une liste d’environ 900 comptes dans la recherche de 404 Media.

Un signe de ce à quoi ressembleront les réseaux sociaux dans peu de temps

Mantzarlis a déclaré que ce n’était rien de totalement nouveau ou surprenant, car cela ne faisait que réaliser les prédictions faites plus tôt concernant la technologie IA et son adoption sur les plateformes de réseaux sociaux.

« Cela ressemblait à un signe possible de ce à quoi ressembleront les réseaux sociaux dans cinq ans », a déclaré Mantzarlis.

« Parce que cela pourrait arriver dans d’autres parties d’Internet, pas seulement dans la niche des personnes attrayantes sur Instagram. C’est probablement un signe que ce sera assez mauvais. »

Mantzarlis.

Sur plus de 1 000 comptes d’influenceurs Instagram générés par l’IA, au moins 100 comprenaient du contenu deepfake qui reprenait des vidéos existantes, généralement de mannequins et de performers du divertissement pour adultes, et remplaçait leurs visages par un visage généré par l’IA pour donner aux vidéos un aspect frais.

Les vidéos sembleront comme un nouveau contenu original, cohérent avec les autres images et vidéos générées par l’IA partagées par l’influenceur généré par l’IA.

Instagram agira à la réception des plaintes

Instagram a déclaré qu’il prendrait des mesures contre les comptes uniquement s’ils sont signalés par le propriétaire légitime ou une personne autorisée à le faire. Cependant, de nombreux influenceurs humains affirment que la voie fournie ne fonctionne pas car ils ont trop de comptes d’imposteurs à suivre.

St James a ajouté que le fait que beaucoup de ces comptes d’influenceurs générés par l’IA soient exploités par des hommes ajoute l’insulte à la blessure.

« Nous, les femmes dans le monde, gagnons moins d’argent. Nous sommes désavantagées de nombreuses façons. Un domaine du monde où nous avons un avantage est celui des influenceurs et du mannequinat, donc c’est juste une couche supplémentaire », a déclaré St James.

« Cela me rend un peu furieux que ce soit un homme qui gagne de l’argent en se faisant passer pour une femme », a-t-elle ajouté.

Apple, qui a jusqu’à présent échoué à résoudre le problème de « double usage » des applications de remplacement de visage qui peuvent être utilisées innocemment mais sont souvent utilisées pour créer du contenu non consensuel, a retiré de l’App Store après avoir été interrogé sur la question.