Discord、AIが無害な画像を誤ってフラグ指定した後に8,000人のユーザーをアンバン

Discordは、誤ってBANされた8,000件以上のアカウントを復活させました。その自動モデレーションシステムにおける障害により、無害なアップロードが違法コンテンツとして誤ってフラグ指定されました。スプレッドシート、チェス盤、ゲームテクスチャでつまずきました。BANは永久であり、人間の承認なしで行われました。

2026年7月7日にXでそのサポートアカウントによって投稿されたスレッドで、Discordは発生したエラーについて詳細を説明しました。

5月以来、ユーザーは赤旗（警告）に遭遇し続けていました。Discordのチームは問題を特定し、週末にかけて約200の追加アカウントが検出された後、修正プログラムを配布しました。同社は現在、影響を受けたすべてのアカウントを復元中であると発表しています。

類似性マッチングによるフラグ付きスプレッドシートとグリッド

アップロードされたすべてのファイルは、Discordのセキュリティツールによってすでに危険であると識別されたコンテンツのデータベースと比較されます。同社は、その比較の基礎となる類似性マッチングには、誤作動して誤検知（フェイクポジティブ）を生じる可能性があることを認めています。

建前上、アカウントにペナルティが科される前に、トラスト＆セーフティチームのメンバーがシステムがフラグを付けたものをすべてレビューする必要があります。

その手順はバグによって排除されました。システムは疑わしいアップロードをレビュアーに送るのではなく、アカウントを完全にBANしました。単純な写真がフィルターのトリガーとなり、即時の停止措置につながりました。スプレッドシートやチェス盤に加え、透明な白とグレーの背景も捕捉されました。

Discordが説明を提供する前に、この迷惑行為はXとRedditに現れました。人々がアカウントを失ったと報告した唯一の理由は、正方形のグリッドパターンを含む写真を投稿したことでした。

いくつかのユーザーによって理論が提唱されました。グリッド状のレイアウトは以前、自動スキャナーからNSFWや児童虐待コンテンツを隠蔽するために使用されていたため、検出モデルはグリッドに似たものをすべて敏感に反応するようになった可能性があります。

「…私たちはこれをより早く見つけるべきでした。これが再発しないよう、より良いセーフガードを構築しています」と、DiscordはX（旧Twitter）のスレッドで書き込みました。

今週末、当社の安全システムが誤って作動し、約200のアカウントがBANされました。影響を受けたすべてのユーザーは復元されました。

ここで何が起こったか。スレッド 🧵 https://t.co/wXH32iiv8I

— Discord Support (@discord_support) 7月 7日、2026

同じBANがMetaとTumblrでも発生

7月4日、JDBRYANTというハンドルネームを持つゲームディレクターは、自動モデレーションが彼のゲームテクスチャを児童性的虐待の描写と解釈したため、アカウントが削除されたと主張しました。

彼がすべての仕事関連のコミュニケーションに使用しているチャンネルは、BANによって遮断されました。彼は停止のレビューを依頼したと主張しています。

別のユーザーはさらに進みました。「…この脆弱性は、すべての誤ったBANを覆すことで直ちに修正される必要があります。このような不公平な理由でDiscordアカウントを失うことは、非常に壊滅的であり、ユーザーに深刻な影響を与える可能性があります。毎日、何百万人ものユーザーが誤ったAI BANの影響を受けています。これを止める必要があります」と、その人物はXで書き込みました。

Discordは、Cryptopolitanが2月に引用した同社の統計によると、毎月2億人以上のユニークユーザーを持っています。

InstagramやFacebook Groupsのユーザーも昨年、説明できない一連の停止報告を行い、これらは広く自動モデレーションのせいだと非難されましたが、MetaはAIの誤りが原因だったかどうかを公式に確認していません。Metaのオーバーサイトボードはその後、同社にもっと透明性を求めるよう圧力をかけています。

Tumblrも、明確な理由のない大量停止に関する同様の苦情を受け付けていました。

Cryptopolitanが2月に報じたように、Discordは2026年初頭に、子供の保護を前面に出して、グローバルな年齢確認とティーンデフォルト設定の導入を進めていました。