Le procès du procureur de la ville de San Francisco pour fermer les sites web de deepfakes nus alimentés par l'IA

Le procureur de la ville de San Francisco, David Chiu, a annoncé que son bureau intentait une action en justice contre 16 sites web qui utilisent l'IA pour développer et distribuer des images nues deepfake non consensuelles de femmes et de filles. Cela survient alors que l'attention se concentre davantage sur la création et la distribution d'images non consensuelles par IA.

Selon Chiu, le procès est le premier du genre à San Francisco et accuse les opérateurs des sites web d'avoir violé les lois étatiques et fédérales qui condamnent la pornographie deepfake, la pornographie infantile et les matériaux pornographiques de vengeance, ainsi que la loi californienne sur la concurrence déloyale.

Chiu veut alerter sur cette pratique illégitime

Selon le New York Times, l'initiative était l'idée de la procureure adjointe en chef Yvonne Mere, qui a rallié ses collègues pour rédiger un procès, qui devrait entraîner la fermeture de 16 sites web.

Les noms des sites web ont été censurés dans la copie du procès rendue publique jeudi.

Bien que le bureau du procureur ait déclaré qu'il n'avait pas encore identifié la plupart des propriétaires des sites web, les responsables de ce bureau ont exprimé leur optimisme quant à la possibilité de trouver les noms des propriétaires des sites et de les tenir responsables.

Lors d'une conférence de presse jeudi, Chiu a révélé que les sites produisaient des matériaux « pornographiques » non consensuels. Outre l'alarme soulevée et la fin de cette forme d'« abus sexuel », Chiu a également laissé entendre que le procès devrait également fermer lesdits sites web.

« Cette enquête nous a conduits aux coins les plus sombres d'Internet, et je suis absolument horrifié par les femmes et les filles qui ont dû subir cette exploitation. »

Chiu.

Sur lesdits sites web, les utilisateurs téléchargent des photos de personnes réelles entièrement vêtues et utilisent l'IA pour créer des images de femmes et de filles nues. Les modèles d'IA des sites ont été entraînés sur de la vraie pornographie et des images d'abus sur des enfants pour créer des deepfakes.

Comme indiqué dans le procès, l'un des sites promeut le caractère non consensuel des images, affirmant : « Imaginez perdre du temps à la sortir en rendez-vous, alors que vous pouvez simplement utiliser [nom du site web masqué] pour obtenir ses nus. »

La disponibilité et l'accessibilité des modèles d'IA open source ont facilité l'accès et l'adaptation des moteurs alimentés par l'IA à des fins personnelles. Cela se traduit par la création de sites et d'applications capables de générer des nus deepfake à partir de zéro ou de « nudifier » des photographies existantes de manière réaliste, souvent contre rémunération.

San Francisco n'est pas le seul endroit à être confronté à ce défi

En janvier, des applications de deepfake ont fait la une des journaux lorsque de fausses photos nues de Taylor Swift ont fait le buzz en ligne. De nombreuses autres personnes, bien moins populaires, ont été persécutées avant et après Swift.

Chiu a admis que la « prolifération de ces images a exploité un nombre choquant de femmes et de filles à travers le monde », des célébrités aux collégiennes.

Grâce à ses propres enquêtes, le bureau du procureur de la ville a constaté que les sites web avaient été visités plus de 200 millions de fois au cours des six premiers mois de cette année. Le bureau a exprimé des préoccupations selon lesquelles, une fois qu'une image est en ligne, il devient difficile pour les victimes de déterminer les sites web qui ont été utilisés pour « nudifier » leurs photographies.

C'est parce que les images n'ont rien d'unique ou de marques distinctives auxquelles on peut se référer pour retrouver les sites web. De plus, il est également difficile pour les victimes de se débarrasser des photographies d'Internet, ce qui affecte leur estime de soi et leur empreinte numérique.

Plus tôt cette année, cinq élèves de huitième de Beverly Hills ont été exclus pour avoir généré et partagé des images nues deepfake de 16 filles de huitième année, superposant les visages des filles sur des corps générés par IA.

Des cas similaires ont été observés dans d'autres écoles en Californie, au New Jersey et dans l'État de Washington, les images étant utilisées pour humilier, harceler et menacer les femmes et les filles.

L'effet net sur les victimes, a déclaré le bureau du procureur, a été dévastateur pour leur réputation, leur santé mentale, leur estime de soi, et dans certains cas, a conduit des individus à devenir suicidaires.