Les startups d'IA utilisent les photos d'enfants brésiliens pour entraîner des modèles sans consentement

Un groupe de défense des droits a révélé que les générateurs d'images ont utilisé des milliards d'images d'enfants brésiliens pour entraîner leurs modèles d'IA sans leur consentement. Human Rights Watch (HRW) a mené des recherches montrant que des générateurs d'images populaires comme Stable Diffusion ont utilisé des images d'enfants « couvrant toute leur enfance » pour entraîner leurs modèles.

À lire également : Les entreprises technologiques exhortées à lutter contre l'augmentation des matériaux d'abus sexuel sur mineurs générés par l'IA

L'étude de HRW révèle que ces images proviennent d'environ 10 États brésiliens. Elle signale que ces photos présentent un risque majeur de « violation de la vie privée des enfants » car l'acte augmente également la production d'images non consensuelles portant leur ressemblance.

Des milliards d'images d'enfants brésiliens utilisées pour entraîner des modèles d'IA

La chercheuse de HRW, Hye Jung Han, a exposé le problème après avoir analysé une fraction (moins de 0,0001 %) de LAION-5B, un ensemble de données construit à partir d'instantanés de Common Crawl du web public. Elle a révélé que l'ensemble de données ne contenait pas les photos réelles, mais des « paires texte-image » extraites de près de 6 milliards d'images et de légendes publiées depuis 2008.

Des photos d'enfants provenant de 10 États brésiliens ont été retrouvées, la plupart étant des photos de famille téléchargées sur des blogs parentaux et personnels. Selon le rapport, il s'agit de photos que les utilisateurs d'Internet ne rencontrent pas facilement.

À lire également : Le Royaume-Uni déclarera la création de deepfakes sexuellement explicites comme un acte criminel

HRW a supprimé les liens vers les images en collaboration avec LAION, l'organisation à but non lucratif allemande qui a créé l'ensemble de données. Des préoccupations subsistent quant au fait que l'ensemble de données pourrait toujours faire référence à des images d'enfants du monde entier, car la simple suppression des liens ne résout pas entièrement le problème.

« Il s'agit d'un problème plus vaste et très préoccupant et, en tant qu'organisation bénévole, nous ferons notre part pour aider », a déclaré le porte-parole de LAION, Nate Tyler, à Ars.

Les identités des enfants sont facilement traçables

Le rapport de HRW a également révélé que les identités de nombreux enfants brésiliens pouvaient être traçables car leurs noms et lieux de résidence étaient utilisés dans les légendes qui ont construit l'ensemble de données. Il a également soulevé des préoccupations quant au risque que les enfants soient ciblés par des harceleurs tandis que leurs images pourraient être utilisées pour du contenu explicite.

« Les photos examinées couvrent l'intégralité de l'enfance », lit-on dans une partie du rapport.

« Elles capturent des moments intimes de bébés naissant dans les mains gantées des médecins, de jeunes enfants soufflant les bougies de leur gâteau d'anniversaire ou dansant en sous-vêtements à la maison… »

HRW.

Han a toutefois révélé que « toutes les versions publiquement disponibles de LAION-5B ont été retirées », réduisant ainsi le risque que les photos des enfants brésiliens soient utilisées désormais.

Selon HRW, l'ensemble de données ne sera plus disponible tant que LAION ne sera pas certaine que tout contenu signalé a été supprimé. Cette décision a été prise après qu'un rapport de l'Université de Stanford a également « trouvé des liens dans l'ensemble de données pointant vers du contenu illégal sur le web public », y compris plus de 3 000 cas suspects de contenu de abus sexuel sur mineurs.

Au moins 85 filles au Brésil ont également signalé que leurs camarades de classe les harcelaient en utilisant l'IA pour générer du contenu de deepfake sexuellement explicite « basé sur des photos extraites de leurs contenus sur les réseaux sociaux ».

Protection de la vie privée des enfants

Selon Ars, LAION-5B a été introduit en 2022, rapporté comme visant à répliquer l'ensemble de données d'OpenAI, et a été présenté comme le plus grand « ensemble de données image-texte librement disponible ».

Lorsque HRW a contacté LAION au sujet des images, l'organisation a répondu en disant que les modèles d'IA entraînés sur LAION-5B « ne pouvaient pas produire les données des enfants mot pour mot », bien qu'ils aient reconnu les risques pour la vie privée et la sécurité.

L'organisation a ensuite commencé à supprimer certaines images mais a également estimé que les parents et tuteurs étaient responsables de la suppression des photos personnelles des enfants d'Internet. Han n'était pas d'accord avec cet argument, disant :

« Les enfants et leurs parents ne devraient pas avoir à assumer la responsabilité de protéger les enfants contre une technologie fondamentalement impossible à protéger. Ce n'est pas leur faute. »

Han.

HRW a appelé à une intervention urgente des législateurs brésiliens pour protéger les droits des enfants face aux technologies émergentes. De nouvelles lois doivent être mises en place pour interdire l'utilisation des données des enfants dans les modèles d'IA, selon les recommandations de HRW.

Reporting de Cryptopolitan par Enacy Mapakame