Discord revoca il ban a 8.000 utenti dopo che l'IA ha segnalato erroneamente immagini innocue

Discord ha ripristinato oltre 8.000 account bannati accidentalmente. Un difetto nel suo sistema di moderazione automatizzato ha classificato erroneamente caricamenti innocui come contenuti illegali. Il sistema ha avuto difficoltà con fogli di calcolo, scacchiere e texture di gioco. I ban erano permanenti e senza alcuna approvazione umana.

In un thread pubblicato dal suo account di supporto su X il 7 luglio 2026, Discord ha dettagliato gli errori verificatisi.

Gli utenti avevano iniziato a incontrare bandiere rosse da maggio. Il team di Discord è riuscito a identificare il problema e distribuire una correzione dopo che ~200 account aggiuntivi sono stati rilevati nel weekend. L'azienda ha annunciato che tutti gli account interessati sono attualmente in fase di ripristino.

La corrispondenza per similarità ha segnalato fogli di calcolo e griglie

Ogni file caricato viene confrontato con database di contenuti già identificati come pericolosi dagli strumenti di sicurezza di Discord. L'azienda riconosce che la corrispondenza per similarità, alla base di quel confronto, ha il potenziale per funzionare male e produrre falsi positivi.

Sulla carta, prima che un account venga sanzionato, un membro del team Trust and Safety dovrebbe esaminare tutto ciò che il sistema segnala.

Quel passaggio è stato eliminato dal bug. Il sistema ha bannato completamente gli account invece di inviare caricamenti dubbi a un revisore. Foto semplici hanno fatto scattare il filtro, causando sospensioni istantanee. Oltre ai fogli di calcolo e alle scacchiere, anche sfondi bianchi e grigi trasparenti sono stati catturati.

Prima che Discord fornisse una spiegazione, l'irritazione è apparsa su X e Reddit. Pubblicare immagini con pattern a griglia quadrata era l'unico motivo per cui le persone segnalavano la perdita dei loro account.

Diversi utenti hanno avanzato una teoria. Il modello di rilevamento potrebbe essersi irritato attorno a tutto ciò che assomigliava a una griglia, poiché layout simili a griglie sono stati in precedenza utilizzati per nascondere contenuti NSFW e di sfruttamento minorile dagli scanner automatizzati.

“…Avremmo dovuto rilevare questo problema prima. Stiamo lavorando a tutele migliori affinché non accada di nuovo”, ha scritto Discord nel suo thread su X.

Questo weekend, i nostri sistemi di sicurezza hanno attivato erroneamente e bannato circa 200 account. Tutti gli interessati sono stati ripristinati.

Ecco cosa è successo. Un thread 🧵 https://t.co/wXH32iiv8I

— Discord Support (@discord_support) Luglio 7, 2026

Gli stessi ban hanno colpito Meta e Tumblr

Il 4 luglio, un regista di giochi che utilizza lo pseudonimo JDBRYANT ha affermato che il suo account è stato eliminato perché l'automod ha interpretato le texture del suo gioco come raffiguranti abuso sessuale minorile.

Un canale che utilizza per tutte le sue comunicazioni di lavoro è stato interrotto dal ban. Ha affermato di aver inviato una richiesta per la revisione della sospensione.

Un altro utente è andato oltre. "…Questa vulnerabilità deve essere risolta immediatamente con tutti i ban falsi revocati. Perdere un account Discord per qualcosa di così ingiusto come questo può essere estremamente devastante e influenzare gravemente gli utenti, e ogni giorno milioni di utenti sono colpiti da ban AI falsi. Questo deve essere fermato", ha scritto la persona su X.

Discord conta oltre 200 milioni di utenti unici ogni mese, secondo le statistiche della stessa azienda che Cryptopolitan ha citato a febbraio.

Anche gli utenti di Instagram e Facebook Groups hanno segnalato ondate di sospensioni inspiegabili lo scorso anno, ampiamente attribuite alla moderazione automatizzata, sebbene Meta non abbia mai confermato se errori dell'IA fossero alla base di ciò. L'Oversight Board di Meta ha da allora sollecitato l'azienda a una maggiore trasparenza.

Tumblr ha ricevuto reclami simili per sospensioni di massa senza una ragione chiara.

Discord ha iniziato il 2026 con il rollout globale della verifica dell'età e delle impostazioni predefinite per gli adolescenti, inquadrando i cambiamenti nella protezione dei minori, come riportato da Cryptopolitan a febbraio.