Discord sblocca 8.000 utenti dopo che l'intelligenza artificiale ha erroneamente segnalato immagini innocue
- Discord ha ripristinato tutti gli account interessati dopo che un bug del sistema di moderazione basato sull'intelligenza artificiale aveva bannato più di 8.000 utenti a partire da maggio.
- I divieti erano permanenti e non sono stati sottoposti a revisione umana.
- Questo caso si aggiunge a una serie di fallimenti dei sistemi di moderazione automatica che hanno colpito Instagram, Facebook e Tumblr.
Discord ha riattivato oltre 8.000 account che erano stati bannati perdent. Un malfunzionamento del suo sistema di moderazione automatica ha erroneamente segnalato come illegali dei contenuti caricati innocui. Il sistema ha individuato fogli di calcolo, scacchiere e texture di videogiochi. I ban erano permanenti e non erano stati sottoposti ad alcuna approvazione umana.
In un thread pubblicato dal suo account di supporto su X il 7 luglio 2026, Discord ha descritto dettagliatamente gli errori che si sono verificati.
Gli utenti avevano riscontrato anomalie già da maggio. Il team di Discord è riuscito adentil problema e a distribuire una soluzione dopo che circa 200 account aggiuntivi sono stati rilevati durante il fine settimana. L'azienda ha annunciato che tutti gli account interessati sono in fase di ripristino.
Corrispondenza di similarità tra fogli di calcolo e griglie contrassegnati
Ogni file caricato viene confrontato con database di contenuti giàdentcome pericolosi dagli strumenti di sicurezza di Discord. L'azienda riconosce che il confronto basato sulla somiglianza può potenzialmente generare falsi positivi.
Sulla carta, prima che un account venga penalizzato, un membro del team Fiducia e Sicurezza dovrebbe esaminare qualsiasi segnalazione proveniente dal sistema.
Quel passaggio è stato eliminato dal bug. Il sistema ha bannato completamente gli account anziché inviare i caricamenti sospetti a un revisore. Semplici foto facevano scattare il filtro, con conseguenti sospensioni immediate. Oltre ai fogli di calcolo e alle scacchiere, sono stati rilevati anche sfondi bianchi e grigi trasparenti.
Prima che Discord fornisse una spiegazione, il problema si era già manifestato su X e Reddit. Pubblicare immagini con motivi a griglia quadrata era l'unica ragione per cui gli utenti segnalavano la perdita dei propri account.
Diversi utenti hanno avanzato una teoria. Il modello di rilevamento potrebbe essersi attivato in presenza di qualsiasi elemento simile a una griglia, poiché in passato layout a griglia sono stati utilizzati per nascondere contenuti NSFW e di sfruttamento minorile agli scanner automatici.
"...Avremmo dovuto accorgercene prima. Stiamo lavorando a misure di sicurezza migliori affinché ciò non accada di nuovo", ha scritto Discord nel suo thread X.
Questo fine settimana, i nostri sistemi di sicurezza hanno attivato erroneamente e bloccato circa 200 account. Tutti gli account interessati sono stati ripristinati.
Ecco cosa è successo. Un thread 🧵 https://t.co/wXH32iiv8I
— Assistenza Discord (@discord_support) 7 luglio 2026
Gli stessi divieti hanno colpito Meta e Tumblr
Il 4 luglio, un game director noto con il nickname JDBRYANT ha affermato che il suo account era stato eliminato perché il sistema di moderazione automatica aveva interpretato le texture del suo gioco come raffiguranti abusi sessuali su minori.
Il canale che utilizzava per tutte le sue comunicazioni di lavoro è stato bloccato a seguito del ban. Ha affermato di aver presentato una richiesta di revisione della sospensione.
Un altro utente si è spinto oltre. "...Questa vulnerabilità deve essere risolta immediatamente e tutti i ban ingiusti devono essere annullati. Perdere un account Discord per qualcosa di così ingiusto può essere estremamente devastante e colpire duramente gli utenti, e ogni giorno milioni di utenti sono colpiti da ban ingiustificati dell'IA. Bisogna fermare tutto questo", ha scritto su X.
Secondo le statistiche della stessa azienda, Cryptopolitan citate a febbraio,
Anche gli utenti di Instagram e dei gruppi di Facebook hanno segnalato ondate di sospensioni inspiegabili lo scorso anno, attribuite in gran parte alla moderazione automatica, sebbene Meta non abbia mai confermato se la causa fosse da attribuire a errori dell'IA. Da allora, il comitato di vigilanza di Meta ha sollecitato l'azienda a una maggiore trasparenza.
Anche Tumblr ha ricevuto lamentele simili riguardo a sospensioni di massa senza una motivazione chiara.
All'inizio del 2026 Discord ha implementato a livello globale la verifica dell'età e l'impostazione "adolescenti per impostazione predefinita", motivando i cambiamenti con la necessità di proteggere i minori, come riportato Cryptopolitan a febbraio.
Le menti più brillanti del mondo delle criptovalute leggono già la nostra newsletter. Vuoi partecipare? Unisciti a loro.
Domande frequenti
Quanti utenti di Discord sono stati bannati ingiustamente e sono stati poi riammessi?
A partire da maggio 2026, oltre 8.000 account sono stati bannati per errore e Discord afferma che tutti gli account interessati sono in fase di ripristino.
Che tipo di immagini hanno scatenato i blocchi ingiustificati?
Sono stati segnalati come dannosi contenuti innocui caricati, tra cui fogli di calcolo, scacchiere, texture di videogiochi e sfondi trasparenti bianchi e grigi.
Perché i divieti sono stati imposti senza una revisione umana?
Il sistema di Discord è progettato in modo che un membro del team di Fiducia e Sicurezza esamini i contenuti segnalati prima di intraprendere qualsiasi azione, ma un bug ha causato il ban immediato degli account interessati.
Randa Moses
Randa Moses è redattrice e reporter presso Cryptopolitan dove si occupa di tecnologia, intelligenza artificiale, robotica, criptovalute, truffe e attacchi hacker. Lavora nel settore delle criptovalute dal 2017 e ha ricoperto ruoli presso Forward Protocol, AmaZix e Cryptosomniac. Randa ha conseguito una laurea in Ingegneria Elettrica edtronpresso l'Università di Bradford.
