Discord、AIモデレーションのバグで無害な画像を検出しユーザーを誤ってBAN——5月から影響、最大200件の誤BANを認める

Discord、AIモデレーションのバグで無害な画像を誤検出——ユーザーを不当にBAN

2026年7月7日、Discordは自社のAIモデレーションシステムにバグがあり、無害な画像を不適切なコンテンツとして誤って検出し、一部のユーザーを不当にBAN（アカウント停止）していたことを認めました。同社によると、この問題は5月から発生しており、週末にはさらに200人のユーザーが誤ってBANされた後、エンジニアリングチームが問題を特定し修正したとのことです。

Discordは公式ブログで「AIによるモデレーションシステムが特定の画像を誤ってフラグ付けし、自動的にアカウントを停止するケースがあった」と説明。「影響を受けたユーザーには順次BANを解除し、謝罪の連絡を行っている」としています。同社はこのバグの原因について、AIモデルのトレーニングデータに偏りがあった可能性を示唆していますが、詳細な技術的説明は控えています。

今回の誤BANは、DiscordがAIモデレーションを強化している最中に発生しました。同プラットフォームは近年、児童の性的虐待コンテンツ（CSAM）やヘイトスピーチなどの有害コンテンツに対処するため、AIによる自動検出を積極的に導入しています。しかし、今回の事例はAIモデレーションの精度に課題があることを浮き彫りにしました。

影響を受けたユーザーからは、無害なペットの写真や風景画像がBANの原因になったという報告が相次いでいます。あるユーザーは「犬の写真を投稿しただけでアカウントが停止された」と不満を漏らしています。Discordは「誤検出を防ぐため、モデルの再トレーニングとテストを実施している」と述べています。

今回のバグは、AIによるコンテンツモデレーションの限界と、自動化に伴うリスクを改めて示すものとなりました。Discordは今後、AIモデレーションの透明性を高め、誤BANが発生した場合の救済プロセスを迅速化する方針です。