Discord débannit 8 000 utilisateurs après que l'IA a faussement signalé des images inoffensives

Discord a rétabli plus de 8 000 comptes qu'il avait accidentellement bannis. Une défaillance de son système de modération automatique a faussement signalé des téléchargements inoffensifs comme du contenu illégal. Il a buté sur des feuilles de calcul, des échiquiers et des textures de jeux. Les bannissements étaient permanents et sans aucune approbation humaine.

Dans un fil publié par son compte de support sur X le 7 juillet 2026, Discord a détaillé les erreurs qui se sont produites.

Les utilisateurs rencontraient des signaux d'alarme depuis mai. L'équipe de Discord a pu identifier le problème et distribuer une correction après qu'environ 200 comptes supplémentaires aient été détectés le week-end. L'entreprise a annoncé que tous les comptes affectés sont actuellement rétablis.

La correspondance de similarité a signalé des feuilles de calcul et des grilles

Chaque fichier téléchargé est comparé à des bases de données de contenu déjà identifié comme dangereux par les outils de sécurité de Discord. L'entreprise reconnaît que la correspondance de similarité, la base de cette comparaison, a le potentiel de déclencher des erreurs et de produire de faux positifs.

Sur le papier, avant qu'un compte ne soit pénalisé, un membre de l'équipe Trust and Safety devrait examiner tout ce que le système signale.

Cette étape a été éliminée par le bug. Le système a complètement banni les comptes au lieu d'envoyer les téléchargements douteux à un réviseur. De simples photos ont fait déclencher le filtre, entraînant des suspensions instantanées. Avec les feuilles de calcul et les échiquiers, les arrière-plans blancs et gris transparents ont également été capturés.

Avant que Discord ne fournisse une explication, l'agacement est apparu sur X et Reddit. Poster des images avec des motifs de grille carrée était la seule raison pour laquelle les gens signalaient la perte de leurs comptes.

Une théorie a été avancée par plusieurs utilisateurs. Le modèle de détection pourrait être devenu agité autour de tout ce qui ressemblait à une grille, car des mises en page en grille ont précédemment été utilisées pour masquer du contenu NSFW et d'exploitation des enfants aux scanners automatisés.

« …Nous aurions dû détecter cela plus tôt. Nous travaillons à de meilleures sauvegardes pour que cela ne se reproduise pas », a écrit Discord dans son fil X.

Ce week-end, nos systèmes de sécurité ont déclenché incorrectement et banni environ 200 comptes. Tous les personnes affectées ont été rétablies.

Voici ce qui s'est passé. Un fil 🧵 https://t.co/wXH32iiv8I

— Discord Support (@discord_support) 7 juillet 7, 2026

Les mêmes bannissements ont touché Meta et Tumblr

Le 4 juillet, un directeur de jeu utilisant le pseudonyme JDBRYANT a affirmé que son compte a été supprimé parce que l'automod a interprété ses textures de jeu comme représentant de l'abus sexuel sur mineurs.

Un canal qu'il utilise pour toutes ses communications professionnelles a été coupé par le bannissement. Il a affirmé avoir soumis une demande pour que la suspension soit révisée.

Un autre utilisateur est allé plus loin. « …Cette vulnérabilité doit être corrigée immédiatement avec toutes les fausses bannissements annulés. Perdre un compte Discord pour quelque chose d'aussi injuste que cela peut être extrêmement dévastateur et affecter sévèrement les utilisateurs, et chaque jour des millions d'utilisateurs sont affectés par de fausses bannissements IA. Cela doit s'arrêter », la personne a écrit sur X.

Discord compte plus de 200 millions d'utilisateurs uniques chaque mois, selon les propres statistiques de l'entreprise que Cryptopolitan a citées en février.

Les utilisateurs d'Instagram et des groupes Facebook ont également signalé des vagues de suspensions inexpliquées l'année dernière, largement attribuées à la modération automatisée, bien que Meta n'ait jamais confirmé si des erreurs d'IA étaient à l'origine. Le Conseil de surveillance de Meta a depuis pressé l'entreprise pour plus de transparence.

Tumblr a fait face à des plaintes similaires concernant des suspensions massives sans raison claire.

Discord a passé le début de 2026 à déployer la vérification d'âge mondiale et les paramètres par défaut pour les adolescents, présentant les changements autour de la protection des enfants, comme Cryptopolitan l'a rapporté en février.