Discord hebt 8.000 Nutzer nach falscher KI-Markierung harmloser Bilder wieder auf

Discord hat mehr als 8.000 Konten wiederhergestellt, die es versehentlich gesperrt hatte. Ein Fehler in seinem automatisierten Moderationssystem markierte harmlose Uploads fälschlicherweise als illegale Inhalte. Es stolperte über Tabellenkalkulationen, Schachbretter und Spieltexturen. Die Sperren waren dauerhaft und ohne menschliche Genehmigung.

In einem Thread, der am 7. Juli 2026 von seinem Support-Konto auf X gepostet wurde, erläuterte Discord die aufgetretenen Fehler.

Nutzer trafen seit Mai auf rote Flaggen. Das Discord-Team konnte das Problem identifizieren und eine Lösung nach dem Entdecken von ~200 zusätzlichen Konten am Wochenende verteilen. Das Unternehmen hat angekündigt, dass alle betroffenen Konten derzeit wiederhergestellt werden.

Ähnlichkeitsabgleich markierte Tabellenkalkulationen und Gitter

Jede hochgeladene Datei wird mit Datenbanken von Inhalten verglichen, die von Disords Sicherheitstools bereits als gefährlich identifiziert wurden. Das Unternehmen räumt ein, dass der Ähnlichkeitsabgleich, die Grundlage dieses Vergleichs, das Potenzial hat, falsch auszulösen und Falschpositive zu erzeugen.

Theoretisch sollte vor einer Kontobestrafung ein Mitglied des Trust-and-Safety-Teams alles überprüfen, was das System markiert.

Dieser Schritt wurde durch den Bug eliminiert. Das System sperrte Konten vollständig, anstatt zweifelhafte Uploads an einen Prüfer zu senden. Einfache Fotos ließen den Filter auslösen, was zu sofortigen Suspendierungen führte. Zusammen mit den Tabellenkalkulationen und Schachbrettern wurden auch transparente weiße und graue Hintergründe erfasst.

Behe Discord eine Erklärung abgab, tauchte die Verärgerung auf X und Reddit auf. Das Posten von Bildern mit quadratischen Gittermustern war der einzige Grund, warum Leute den Verlust ihrer Konten meldeten.

Mehrere Benutzer brachten eine Theorie ein. Das Erkennungsmodell könnte sich über alles erregt haben, das einem Gitter ähnelte, da gitterartige Layouts zuvor verwendet wurden, um NSFW- und Kindermissbrauchsinhalte vor automatisierten Scannern zu verbergen.

„…Wir hätten dies früher erkennen sollen. Wir arbeiten an besseren Schutzmaßnahmen, damit dies nicht wieder passiert“, schrieb Discord in seinem X-Thread.

An diesem Wochenende haben unsere Sicherheitssysteme fälschlicherweise ausgelöst und rund 200 Konten gesperrt. Alle Betroffenen wurden wiederhergestellt.

So ist es passiert. Ein Thread 🧵 https://t.co/wXH32iiv8I

— Discord Support (@discord_support) Juli 7, 2026

Die gleichen Sperren trafen Meta und Tumblr

Am 4. Juli behauptete ein Spiel-Regisseur unter dem Pseudonym JDBRYANT, sein Konto sei gelöscht worden, weil das Automod seine Spieltexturen als Darstellung von sexuellem Missbrauch von Kindern interpretierte.

Ein Kanal, den er für alle seine arbeitsbezogenen Kommunikationen nutzt, wurde durch die Sperre abgeschnitten. Er behauptete, er habe eine Anfrage zur Überprüfung der Suspendierung eingereicht.

Ein anderer Benutzer ging noch weiter. „…Diese Schwachstelle muss sofort behoben werden, und alle falschen Sperren müssen aufgehoben werden. Den Verlust eines Discord-Kontos aufgrund einer so ungerechten Sache wie dieser kann extrem verheerend sein und die Benutzer stark beeinträchtigen, und jeden Tag sind Millionen von Benutzern von falschen KI-Sperren betroffen. Dies muss gestoppt werden“, schrieb die Person auf X.

Discord hat nach eigenen Angaben über 200 Millionen einzigartige Nutzer jeden Monat, laut den Statistiken des Unternehmens, die Cryptopolitan im Februar zitierte.

Nutzer von Instagram- und Facebook-Gruppen meldeten im vergangenen Jahr ebenfalls Wellen unerklärlicher Suspendierungen, die weithin der automatisierten Moderation zugeschrieben wurden, obwohl Meta nie bestätigte, ob KI-Fehler dahintersteckten. Der Oversight-Board von Meta hat das Unternehmen seitdem zu mehr Transparenz aufgefordert.

Tumblr erhielt ähnliche Beschwerden über Massensuspendierungen ohne klaren Grund.

Discord rollte Anfang 2026 globale Altersverifizierung und Teen-by-Default-Einstellungen aus und rahmte die Änderungen im Kontext des Kinderschutzes, wie Cryptopolitan im Februar berichtete.