Discord разблокирует 8000 пользователей после того, как ИИ ошибочно пометил безобидные изображения

Discord восстановил более 8000 аккаунтов, которые были случайно забанены. Сбой в его системе автоматической модерации ошибочно пометил безобидные загрузки как незаконный контент. Он споткнулся о таблицы, шахматные доски и игровые текстуры. Баны были постоянными и без какого-либо человеческого одобрения.

В потоке, опубликованном его аккаунтом поддержки в X 7 июля 2026 года, Discord подробно описал возникшие ошибки.

Пользователи сталкивались с предупреждениями с мая. Команда Discord смогла выявить проблему и распространить исправление после того, как за выходные было обнаружено еще ~200 дополнительных аккаунтов. Компания объявила, что все затронутые аккаунты в настоящее время восстанавливаются.

Сопоставление сходства пометило таблицы и сетки

Каждый загруженный файл сравнивается с базами данных контента, который уже был идентифицирован как опасный инструментами безопасности Discord. Компания признает, что сопоставление сходства, лежащее в основе этого сравнения, имеет потенциал для ложных срабатываний и создания ложноположительных результатов.

На бумаге, прежде чем аккаунт будет наказан, сотрудник отдела доверия и безопасности должен просмотреть все, что отметила система.

Этот шаг был устранен из-за бага. Система полностью забанила аккаунты вместо того, чтобы отправлять подозрительные загрузки на рассмотрение. Простые фотографии заставили фильтр сработать, что привело к мгновенным приостановкам. Вместе с таблицами и шахматными досками были захвачены и прозрачные белые и серые фоны.

До того, как Discord предоставил объяснение, раздражение проявилось в X и Reddit. Единственной причиной, по которой люди сообщали о потере своих аккаунтов, была публикация картинок с квадратными сетчатыми узорами.

Несколько пользователей выдвинули теорию. Модель обнаружения могла стать чувствительной к чему-либо, напоминающему сетку, поскольку сетчатые макеты ранее использовались для сокрытия NSFW и контента, эксплуатирующего детей, от автоматических сканеров.

«…Мы должны были заметить это раньше. Мы работаем над лучшими мерами защиты, чтобы это больше не повторилось», — написал Discord в своем потоке в X.

В эти выходные наши системы безопасности ошибочно сработали и забанили около 200 аккаунтов. Все затронутые пользователи были восстановлены.

Вот что произошло. Поток 🧵 https://t.co/wXH32iiv8I

— Discord Support (@discord_support) Июль 7, 2026

Те же баны затронули Meta и Tumblr

4 июля игровой директор под ником JDBRYANT заявил, что его аккаунт был удален, потому что автоматическая модерация интерпретировала его игровые текстуры как изображающие сексуальную эксплуатацию детей.

Канал, который он использовал для всех рабочих коммуникаций, был заблокирован из-за бана. Он утверждал, что подал запрос на пересмотр приостановки.

Другой пользователь пошёл ещё дальше. «Эту уязвимость необходимо исправить немедленно, отменив все ложные блокировки. Потеря аккаунта в Discord из-за такой несправедливости может быть крайне разрушительной и серьёзно повлиять на пользователей, и каждый миллионы пользователей страдают от ложных блокировок ИИ. Это нужно остановить», — написал человек в X.

У Discord более 200 миллионов уникальных пользователей каждый месяц, согласно собственной статистике компании, которую Cryptopolitan привел в феврале.

В прошлом году пользователи Instagram и Facebook Groups также сообщали о волнах необъяснимых приостановок, которые широко приписывали автоматической модерации, хотя Meta никогда не подтверждала, что за ними стояли ошибки ИИ. С тех пор Наблюдательный совет Meta потребовал от компании большей прозрачности.

Tumblr получил аналогичные жалобы на массовые приостановки без четких причин.

В начале 2026 года Discord начал внедрять глобальную проверку возраста и настройки «по умолчанию для подростков», обосновывая эти изменения защитой детей, как сообщалось в Cryptopolitan в феврале.