Gli influencer generati dall'IA inondano Instagram e altre piattaforme con identità rubate

È emersa una nuova truffa legata all'IA che presenta migliaia di influencer generati dall'IA che hanno inondato i siti social come Instagram utilizzando immagini rubate di persone reali.

La truffa include il furto di video da veri modelli e creatori di contenuti per adulti, dando loro volti generati dall'IA e monetizzando i loro corpi con link a siti di dating come Patreon, OnlyFans, competizioni e varie app IA.

Gli influencer generati dall'IA competono con gli esseri umani su Instagram

Ad aprile, 404 Media ha segnalato questa pratica per la prima volta, quando è emersa. La pratica è ora cresciuta fino a diventare una tendenza popolare che ha portato molti a presumere che i social media gestiti da Meta siano incapaci o non vogliano fermare questa apparente tendenza sulla sua piattaforma.

Questo avviene mentre i creatori di contenuti umani su Instagram dicono di competere ora con i contenuti IA in un modo che sta ora influenzando la loro sostenibilità.

Con alcuni degli strumenti e delle app IA standard ospitati sugli Apple App e Google Play Store, gli influencer IA possono ora facilmente creare e monetizzare i loro account. Secondo Wired, hanno esaminato più di 1.000 account Instagram generati dall'IA e canali Discord dove le persone che creano questo contenuto condividono consigli e discutono strategie e diverse guide che spiegano come guadagnare denaro attraverso lo "sfruttamento IA".

Wired ha scoperto che il problema, che un tempo era minore su Instagram, era cresciuto fino a diventare una pratica enorme in linea con diverse previsioni sul futuro panorama dei social media, dove i contenuti generati dall'IA superano quelli degli esseri umani.

I creatori di contenuti per adulti che promuovono il loro lavoro su Instagram sono ora preoccupati di competere direttamente con questi account di copia IA, molti dei quali utilizzano fotografie e video rubati da creatori di contenuti per adulti e modelle di Instagram.

Elaina St James, una creatrice di contenuti per adulti, ha detto che sebbene ci possano essere altri cambiamenti all'algoritmo di Instagram che potrebbero aver contribuito a questo, dall'esplosione degli account di influencer generati dall'IA su Instagram la sua "portata è diminuita tremendamente", passando da un tipico milione a 5 milioni di visualizzazioni al mese. Non ha raggiunto il milione negli ultimi 10 mesi, e a volte scende sotto le 500.000 visualizzazioni.

"Questo è probabilmente uno dei motivi per cui le mie visualizzazioni stanno diminuendo. È perché sto competendo con qualcosa che è innaturale." St James.

Alexios Mantzarlis, direttore dell'iniziativa per la sicurezza, la fiducia e la sicurezza presso Cornell Tech e in precedenza principale dell'intelligenza sulla fiducia e la sicurezza presso Google, ha compilato un elenco di circa 900 account nella ricerca di 404 Media.

Un segno di come sarà a breve i social media

Mantzarlis ha dichiarato che non si tratta di nulla di totalmente nuovo o sorprendente, poiché si tratta semplicemente di realizzare le previsioni formulate in precedenza riguardo alla tecnologia AI e alla sua adozione sulle piattaforme social.

«È sembrato un possibile segno di come saranno i social media tra cinque anni», ha detto Mantzarlis.

«Perché questo potrebbe arrivare anche in altre parti di Internet, non solo nella nicchia delle persone attraenti su Instagram. Probabilmente è un segno che le cose andranno piuttosto male.»

Mantzarlis.

Su oltre 1.000 account di influencer AI generati su Instagram, almeno 100 includevano contenuti deepfake che prendevano video esistenti, solitamente di modelle e performer dell'intrattenimento per adulti, e sostituivano i loro volti con uno generato dall'AI per dare ai video un aspetto rinnovato.

I video appariranno come nuovi contenuti originali, coerenti con le altre immagini e video generati dall'AI condivisi dall'influencer generato dall'AI.

Instagram agirà in seguito alla ricezione di reclami

Instagram ha detto che avrebbe preso provvedimenti contro gli account solo se segnalati dal proprietario corretto o da qualcuno autorizzato a segnalare per loro. Tuttavia, molti influencer umani dicono che il canale fornito non ha funzionato poiché hanno troppi account di impersonatori da seguire.

St James ha aggiunto che il fatto che molti di questi account di influencer generati dall'AI siano gestiti da me aggiunge insulto all'infortunio.

«Noi donne nel mondo guadagniamo meno. Siamo in svantaggio in molti modi. Un'area del mondo in cui abbiamo un vantaggio è quella degli influencer e del modeling, quindi è solo un ulteriore strato», ha detto St James.

«Mi fa un po' incazzare che sia un uomo a guadagnare facendo finta di essere una donna», ha aggiunto.

Apple, che finora non è riuscita a risolvere il problema del "doppio uso" delle app di swap del viso che possono essere utilizzate innocentemente ma sono spesso usate per creare contenuti non consensuali, ha rimosso dall'App Store dopo essere stata interrogata sull'argomento.