Le procureur général de Californie ordonne à xAI de cesser et de s'abstenir concernant des images deepfake inappropriées

Le procureur général de Californie, Rob Bonta, a envoyé une lettre de mise en demeure à xAI, la société d'Elon Musk, exigeant que celle-ci cesse immédiatement de produire et de diffuser des images deepfake offensantes générées par son chatbot Grok. 

Le procureur général de Californie a émis vendredi une mise en demeure en réponse aux allégations selon lesquelles Grok était utilisé pour créer du contenu illégal impliquant des enfants et des photographies d'adultes non consenties, ce qui a déclenché une enquête de l'État de Californie. Bonta a fait valoir qu'il est illégal de créer, distribuer, publier et diffuser du contenu pédopornographique.

Le procureur général de Californie cible xAI pour utilisation abusive présumée de Grok

Plus tôt cette semaine, le bureau du procureur général de Californie a annoncé enquêter sur xAI suite à des allégations selon lesquelles le chatbot de la start-up, Grok, était utilisé pour produire des images inappropriées et non consensuelles de femmes et d'enfants. En réponse, le gouvernement a adressé à l'entreprise une mise en demeure.

« J'ai adressé aujourd'hui à xAI une mise en demeure exigeant l'arrêt immédiat de la création et de la diffusion de deepfakes, d'images intimes non consensuelles et de contenus pédopornographiques illégaux. La création de ces contenus est illégale. J'attends de xAI une mise en demeure immédiate. La Californie applique une tolérance zéro en matière d'images pédopornographiques illégales. »

–Rob Bonta, procureur général de Californie.

Le bureau du procureur général a également affirmé que xAI semble « faciliter la production à grande échelle » de photos inappropriées et non consensuelles, qui sont ensuite « utilisées pour harceler des femmes et des filles sur Internet ». Selon le bureau du procureur général, une étude a révélé que plus de la moitié des 20 000 photos produites par xAI entre Noël et le Nouvel An montraient des personnes très peu vêtues, dont certaines ressemblaient à des enfants.

Rob Bonta a affirmé dans l' annonce que les pratiques de l'entreprise violaient les lois civiles de la Californie, notamment l'article 1708.86 du Code civil de la Californie, les articles 311 et suivants et 647(j)(4) du Code pénal de la Californie et l'article 17200 du Code des affaires et des professions de la Californie. 

Le ministère de la Justice de Californie prévoit que xAI confirmera ses efforts pour remédier à ces problèmes et prendra des mesures immédiates pour les résoudre au cours des cinq prochains jours.

Toutefois, le compte de sécurité de X avait déjà condamné ce type de comportement d'utilisateurs. Le 4 janvier, il a précisé qu'il prenait des mesures contre les contenus illicites sur X, tels que la pédopornographie, en les supprimant, en suspendant définitivement les comptesdefien collaborant avec les autorités policières et les municipalités, le cas échéant.

À noter que, le 4 janvier, Elon Musk a averti que toute personne utilisant Grok à créer du contenu illégal s'exposerait aux mêmes conséquences que si elle l'avait elle-même mis en ligne.

Les procureurs généraux accentuent la pression sur les entreprises d'IA concernant la sécurité des enfants

Le développement d'outils d'IA générative gratuits a entraîné une augmentation inquiétante des contenus pour adultes non consensuels. Ce problème touche plusieurs plateformes, et pas seulement X.

Par exemple, les procureurs généraux Bonta et Jennings du Delaware ont rencontré OpenAI en septembre de l'année dernière pour exprimer leurs vives inquiétudes concernant le nombre croissant de rapports sur la manière dont les produits d'OpenAI interagissaient avec les jeunes.

En août de la même année, le procureur général Bonta, accompagné de 44 autres procureurs généraux, a adressé un courrier à 12 entreprises leaders du secteur de l'intelligence artificielle suite à des signalements d'interactions inappropriées entre des chatbots et des enfants. Les entreprises concernées étaient Anthropic, Apple, Chai AI, Google, Luka Inc., Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika et xAI.

Dans une lettre adressée aux entreprises, le procureur général Bonta et les 44 procureurs généraux ont indiqué que les États du pays surveillaient de près l'élaboration de leurs politiques de sécurité en matière d'IA. Ils ont également souligné que ces entreprises ont une obligation légale envers les enfants en tant que consommateurs, puisqu'elles tirent profit de l'utilisation de leurs produits par ces derniers. 

En 2023, le procureur général Bonta s'est joint à une coalition bipartite de 54 États et territoires pour envoyer une lettre aux dirigeants du Congrès plaidant en faveur de la création d'un comité d'experts chargé d'enquêter sur l'utilisation potentielle de l'IA pour exploiter les enfants à travers la pédopornographie. 

La coalition a demandé à la commission d'experts de proposer des lois visant à protéger les enfants contre de tels mauvais traitements. « La production de contenus pédopornographiques laisse une trace indélébile de la victimisation de l'enfant », selon le ministère de la Justice américain.