Des experts ont mis en garde contre les images racistes et abusives diffusées par Grok AI sur la plateforme X

Des experts ont exprimé leurs inquiétudes et mis en garde contre les images racistes et abusives générées par l'IA Grok de X qui ont inondé la plateforme en décembre.

Selon Signify, une organisation qui travaille avec d'importants groupes et clubs sportifs pour tracet signaler les contenus haineux en ligne, le nombre d'images haineuses sur Internet et sur la plateforme va augmenter, notamment dans un avenir proche.

Des images d'abus ont inondé X après la mise à jour de Grok

Selon le Guardian, plusieurs signalements ont fait état d'images racistes qui auraient été créées par Grok AI après sa mise à jour, notamment des images photoréalistes de joueurs et d'entraîneurs de football. Parmi ces images, l'une montre un joueur noir cueillant du coton, tandis qu'une autre représente un joueur mangeant des bananes entouré de singes.

D'autres images montrent plusieurs joueurs et entraîneurs rencontrant et discutant avec des figures historiques controversées comme Oussama Ben Laden, Adolf Hitler et Saddam Hussein.

Signify a constaté avec inquiétude la prolifération soudaine d'images de synthèse créées à l'aide de l'IA Grok et ayant inondé la plateforme X. L'organisation s'inquiète également de cette tendance et estime que de plus en plus d'images de ce type risquent d'apparaître sur les réseaux sociaux, car l'introduction d'une IA photoréaliste facilitera leur création et en augmentera la fréquence.

« C'est un problème maintenant, mais ce n'est que le début d'un problème à venir. La situation va s'aggraver considérablement et nous n'en sommes qu'au début. Je m'attends à ce qu'elle devienne extrêmement grave au cours des 12 prochains mois. »

Signifier.

L'outil d'IA générative de X a été lancé en 2023 par Elon Musk. Récemment, il a ajouté une nouvelle fonctionnalité de conversion de texte en image appelée Aurora, qui crée des images d'IA photoréalistes à partir de simples instructions des utilisateurs.

Auparavant, une version moins avancée, appelée Flux, avait déjà suscité la controverse en début d'année, car elle permettait de réaliser des actions que de nombreux logiciels similaires n'auraient pas entreprises, selon The Guardian. Parmi celles-ci figuraient la représentation de personnages protégés par le droit d'auteur et de personnalités publiques dans des situations compromettantes, la consommation de drogues ou des actes de violence.

X s'est transformé en une plateforme pour la haine

Callum Hood, directeur de la recherche au Centre de lutte contre la haine numérique (CCDH), a accusé la plateforme X d'être un vecteur de haine. Selon lui, X est devenue une plateforme qui incite et récompense la diffusion de la haine par le biais du partage des revenus, et l'imagerie générée par l'IA facilite plus que jamais cette diffusion.

« Ce que X a fait, à un degré qu'aucune autre plateforme grand public n'a atteint, c'est d'offrir des incitations cash aux comptes pour ce faire, de sorte que les comptes sur X publient délibérément les messages haineux et la désinformation les plus flagrants possibles. »

Capot.

Des experts ont exprimé leurs inquiétudes quant au manque relatif de restrictions sur ce que les utilisateurs peuvent demander à l'IA générative de produire, ce qui permet à Grok de contourner si facilement les directives de l'IA en la « jailbreakant »

Un rapport du CCDH indique que, face à différents messages haineux, le modèle d'IA en a généré 90 %, dont 30 % sans aucune réaction. Il en a également généré 50 % supplémentaires après un jailbreak.

La Premier League a reconnu avoir eu connaissance des images des joueurs de football. Elle a indiqué avoir mis en place une équipe dédiée pour identifier et signaler les propos racistes visant les athlètes, ce qui pourrait donner lieu à des poursuites judiciaires.

Cette annonce intervient alors que l'administration du football a révélé avoir reçu plus de 1 500 signalements d'abus en 2024 et que des filtres ont été mis en place pour que les joueurs puissent les utiliser sur leurs comptes de médias sociaux afin de bloquer une grande quantité d'abus.

« La discrimination n'a pas sa place dans notre sport ni dans la société en général. Nous continuons d'exhorter les entreprises de médias sociaux et les autorités compétentes à lutter contre les abus en ligne et à prendre des mesures contre les auteurs de ce comportement inacceptable », a déclaré un porte-parole de la FA.