Discord débannit 8 000 utilisateurs après que l'IA a signalé par erreur des images inoffensives

Discord a réactivé plus de 8 000 comptes qu'il avait bannis pardent. Un dysfonctionnement de son système de modération automatisé a classé à tort des contenus inoffensifs comme illégaux. Il s'agissait notamment de feuilles de calcul, d'échiquiers et de textures de jeux vidéo. Les bannissements étaient permanents et effectués sans intervention humaine.

Dans un fil de discussion publié par son compte de support sur X le 7 juillet 2026, Discord a détaillé les erreurs survenues.

Des utilisateurs rencontraient des problèmes depuis le mois de mai. L'équipe de Discord a pudentle problème et déployer un correctif après la détection d'environ 200 comptes supplémentaires au cours du week-end. L'entreprise a annoncé que tous les comptes concernés sont en cours de rétablissement.

Mise en correspondance des feuilles de calcul et des grilles signalées comme similaires

Chaque fichier téléchargé est comparé à des bases de données de contenu déjàdentcomme dangereux par les outils de sécurité de Discord. L'entreprise reconnaît que la méthode de comparaison par similarité, qui sert de base à cette analyse, peut générer des erreurs et de faux positifs.

En théorie, avant qu'un compte ne soit pénalisé, un membre de l'équipe Confiance et Sécurité devrait examiner tout élément signalé par le système.

Cette étape a été supprimée par le bug. Le système a banni les comptes directement au lieu de soumettre les fichiers suspects à un examinateur. De simples photos suffisaient à déclencher le filtre, entraînant des suspensions instantanées. Outre les feuilles de calcul et les échiquiers, les fonds blancs et gris transparents étaient également concernés.

Avant que Discord ne fournisse une explication, le problème est apparu sur X et Reddit. Le seul motif invoqué par les utilisateurs pour signaler la perte de leurs comptes était la publication d'images à motifs quadrillés.

Plusieurs utilisateurs ont avancé une théorie : le modèle de détection pourrait être perturbé par tout ce qui ressemble à une grille, car des mises en page de ce type ont déjà été utilisées pour dissimuler des contenus à caractère sexuel ou pédopornographique aux scanners automatisés.

«…Nous aurions dû détecter cela plus tôt. Nous travaillons à de meilleures mesures de sécurité pour que cela ne se reproduise plus», a écrit Discord dans son fil de discussion dédié à X.

Ce week-end, nos systèmes de sécurité ont déclenché par erreur la suspension d'environ 200 comptes. Tous les comptes concernés ont été rétablis.

Voici ce qui s'est passé. Un fil de discussion 🧵 https://t.co/wXH32iiv8I

— Assistance Discord (@discord_support) 7 juillet 2026

Les mêmes interdictions touchent Meta et Tumblr

Le 4 juillet, un directeur de jeu utilisant le pseudonyme JDBRYANT a affirmé que son compte avait été supprimé parce que le modérateur automatique avait interprété les textures de son jeu comme représentant des abus sexuels sur enfants.

Le canal qu'il utilise pour toutes ses communications professionnelles a été bloqué par cette interdiction. Il affirme avoir demandé la révision de sa suspension.

Un autre utilisateur est allé plus loin : « Cette faille de sécurité doit être corrigée immédiatement et tous les bannissements injustifiés annulés. Perdre son compte Discord à cause d'une injustice pareille peut être extrêmement traumatisant et avoir de graves conséquences pour les utilisateurs. Chaque jour, des millions d'utilisateurs sont victimes de bannissements erronés par l'IA. Il faut que cela cesse », a-t-il écrit sur X.

Discord compte plus de 200 millions d'utilisateurs uniques chaque mois, selon les statistiques de l'entreprise Cryptopolitan citées par en février.

L'année dernière, des utilisateurs d'Instagram et de groupes Facebook ont ​​également signalé des vagues de suspensions inexpliquées, largement imputées à la modération automatisée, bien que Meta n'ait jamais confirmé si des erreurs d'IA en étaient la cause. Depuis, le Conseil de surveillance de Meta a exhorté l'entreprise à plus de transparence.

Tumblr a reçu des plaintes similaires concernant des suspensions massives sans raison apparente.

Début 2026, Discord a déployé un système mondial de vérification de l'âge et des paramètres par défaut pour les adolescents, en présentant ces changements comme étant axés sur la protection de l'enfance, comme l'a rapporté Cryptopolitan en février.