Le procureur général de la Californie émet une mise en demeure à xAI pour des images deepfake inappropriées

Le procureur général de la Californie, Rob Bonta, a envoyé une lettre de mise en demeure à xAI d'Elon Musk, exigeant que l'entreprise cesse immédiatement de produire et de diffuser des images deepfake offensantes générées par son chatbot Grok. 

Procureur général de la Californie a publié la lettre de mise en demeure vendredi en réponse aux allégations selon lesquelles Grok était utilisé pour créer du contenu illégal impliquant des enfants et des photographies d'adultes non consensuelles, ce qui a déclenché une enquête de l'État de Californie. Bonta a soutenu qu'il est illégal de créer, distribuer, publier et afficher des images d'abus sexuel sur mineurs (CSAM).

Le procureur général de la Californie cible xAI pour supposée mauvaise utilisation de Grok

Plus tôt cette semaine, le bureau du procureur général de la Californie a déclaré a indiqué qu'il enquêtait sur xAI en raison d'allégations selon lesquelles le chatbot de la startup, Grok, était utilisé pour produire des images inappropriées et non consensuelles de femmes et d'enfants. En réponse, le gouvernement a envoyé à l'entreprise une lettre de mise en demeure.

« Aujourd'hui, j'ai envoyé à xAI une lettre de mise en demeure, exigeant que l'entreprise cesse immédiatement la création et la distribution de deepfakes, d'images intimes non consensuelles et de matériel illégal d'abus d'enfants. La création de ce matériel est illégale. Je m'attends pleinement à ce que xAI se conforme immédiatement à cette demande. La Californie a une tolérance zéro pour les images illégales d'abus d'enfants. »

–Rob Bonta, procureur général de la Californie.

Le bureau du procureur général a en outre affirmé que xAI semble « faciliter la production à grande échelle » de photos inappropriées et non consensuelles, qui sont ensuite « utilisées pour harceler les femmes et les filles sur Internet ». Selon le bureau du procureur général, une étude a révélé que plus de la moitié des 20 000 photos produites par xAI entre Noël et le Nouvel An montraient des personnes portant très peu de vêtements, dont certaines ressemblaient à des enfants.

Rob Bonta a affirmé dans le annonce que que les pratiques de l'entreprise violaient les lois civiles de la Californie, y compris la section 1708.86 du Code civil de la Californie, les sections 311 et suivantes et 647(j)(4) du Code pénal de la Californie, et la section 17200 du Code des affaires et des professions de la Californie. 

Le département de la Justice de la Californie s'attend à ce que xAI confirme ses efforts pour résoudre ces problèmes et prenne des mesures immédiates pour les résoudre dans les cinq jours à venir.

Cependant, le compte de sécurité de X avait précédemment condamné ce type de comportement des utilisateurs. Il précisé le 4 janvier qu'il prend des mesures contre les contenus illicites sur X, tels que les CSAM, en les supprimant, en suspendant les comptes de manière indéfinie et en collaborant avec les autorités policières et les gouvernements municipaux si nécessaire.

Il est à noter que, le 4 janvier, Elon Musk a mis en garde quiconque utilisant ou demandant Grok de créer du contenu illégal ferait face aux mêmes conséquences que s'il le téléchargeait.

Les procureurs généraux intensifient la pression sur les entreprises d'IA pour la sécurité des enfants

Une augmentation inquiétante de contenus pour adultes non consensuels a résulté du développement d'outils d'IA générative gratuits. Ce problème affecte plusieurs plateformes, pas seulement X.

Par exemple, le procureur général Bonta et le procureur général Jennings du Delaware a ont rencontré OpenAI en septembre de l'année dernière pour exprimer leurs graves préoccupations concernant le nombre croissant de rapports sur la manière dont les produits d'OpenAI interagissaient avec les jeunes.

En août de la même année, le procureur général Bonta, ainsi que 44 autres procureurs généraux, ont envoyé une lettre à 12 grandes entreprises d'IA suite à des rapports sur des interactions inappropriées entre les chatbots d'IA et les enfants. Les lettres ont été envoyées à Anthropic, Apple, Chai AI, Google, Luka Inc., Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika et xAI.

Le procureur général Bonta et les 44 procureurs généraux ont informé les entreprises dans la lettre que les États à travers le pays surveillaient de près la manière dont les entreprises développaient leurs politiques de sécurité de l'IA. Ils ont également souligné que ces entreprises ont une obligation légale envers les enfants en tant que consommateurs, car elles tirent profit du fait que les enfants utilisent leurs produits. 

En 2023, le procureur général Bonta a rejoint une coalition bipartite de 54 États et territoires dans l'envoi d'une lettre aux dirigeants du Congrès préconisant la création d'un comité d'experts pour enquêter sur l'utilisation potentielle de l'IA pour exploiter les enfants par le biais de CSAM. 

La coalition demandé a suggéré que la commission d'experts propose des lois pour protéger les enfants de tels mauvais traitements. « La production de CSAM crée un enregistrement permanent de la victimisation de l'enfant », selon le département de la Justice des États-Unis.