Discord、2026年5月から誤って8,200人のユーザーをBANしていたバグを認める

Discordは、自動モデレーションおよび執行パイプラインに重大な欠陥があったことを認め、2026年5月から7月上旬にかけて約8,200件のユーザーアカウントを誤って不当にBANしていたことを明らかにしました。

この問題は、AI支援型のトラスト＆セーフティシステムの信頼性に疑問を投げかけるものです。事態は7月7日にDiscordの公式サポートチャンネルを通じて公表され、コンテンツ審査およびBAN執行のワークフローに存在したバグに起因していました。手動レビューで問題なしと判定されたアカウントであっても、フラグが立ったまま永久BAN状態が解除されないという不具合が原因でした。

Discord、8,200人のユーザーを誤ってBAN

Discordによると、同社のモデレーション基盤は、児童性的虐待コンテンツ（CSAM）などの違法素材を含む有害コンテンツを検出するために設計されたシステムに依存しています。

こうしたシステムは通常、ハッシュ照合やパターンマッチングの技術を用い、アップロードされたメディアを既知の禁止コンテンツのデータベースと照合します。

しかし、この種のシステムは本質的に誤検知が発生しやすく、特に無害なコンテンツがフラグ付きデータセットと構造的に似たパターンを持つ場合にその傾向が顕著になります。

今回のケースでは、スプレッドシートやゲームのインベントリ、市松模様のようなグリッド状のパターンを含む画像が、自動フィルターによって誤ってCSAMと分類されたとユーザーから報告が寄せられていました。

Discordは、フラグが立てられたコンテンツはすべて執行措置が確定する前に人によるレビューを経る仕組みになっていると強調していますが、ロジック上の欠陥がこの安全策を機能不全に陥らせていました。

同社によると、トラスト＆セーフティ担当チームが該当アカウントをレビューし、問題なしと判定していたにもかかわらず、バックエンドのバグによって執行措置の自動解除が妨げられていたとのことです。その結果、コンプライアンス上問題なしと判断されたアカウントがBANされたままとなり、モデレーションパイプライン内で事実上の「サイレント障害」が発生していました。

この問題は当初、複数のユーザーが原因不明のアカウントBANを報告したことで注目を集め、一部のユーザーは無害な画像のアップロードが引き金になったと指摘していました。当初の報告では、週末の間に約200件のアカウントが影響を受けたとされていました。

しかしDiscordは後に、この問題が数週間にわたって継続しており、約8,200人のユーザーに影響を及ぼしていたことを認めました。この検知の遅れは、特に自動処理と手動処理の間で同期が取れなくなった際に、モデレーションシステムにおける監視・アラート機構に隙間があることを浮き彫りにしています。

セキュリティおよび信頼性の観点から見ると、今回の事案は、堅牢な検証・ロールバック機構を欠いた自動コンテンツモデレーションシステムへの過度な依存がもたらすリスクを浮き彫りにしています。CSAMのような機微な検出カテゴリーにおける誤検知は、ユーザーに深刻な評判的・心理的影響を与えかねず、プラットフォームへの信頼を損なう恐れがあります。

さらに深刻なのは、人によるレビュー後にBANが自動的に解除されなかったという事実が、執行システム全体の整合性における破綻を示している点です。これは分散型のモデレーションアーキテクチャにおいてよく見られる課題です。

Discordは、影響を受けたすべてのアカウントは現在復旧済みであるとし、本来はより早期に問題を発見し対処すべきだったと認めています。

同社はまた、レビュー結果と執行措置との間の同期強化や、異常なモデレーション挙動に対する監視の強化など、同様の障害を防ぐための追加的な安全策を導入していると説明しています。

今回の事案は、大規模にAI主導型モデレーションを活用するプラットフォームが直面する課題のリストにまた一つ加わる形となりました。検出精度、運用の信頼性、ユーザーの信頼のバランスをいかに取るかは、依然として複雑かつ発展途上の課題です。

自動システムがコンテンツガバナンスにおいてますます大きな役割を担うようになる中、今回のような大規模な執行ミスの再発を防ぐためには、透明性、監査可能性、そして迅速な是正措置の確保が不可欠となるでしょう。

Interact with Cyber Threats in Windows, Linux, macOS VMs to Trigger Full Attack Chain - Analyse Malware & Phishing with ANY RUN