ライブ動画のモデレーションが従来のコンテンツ安全対策に突きつける課題

ビデオチャットにおけるライブ動画モデレーションが、フレームのサンプリング、エンドツーエンド暗号化、行動シグナル、プライバシー、コンテンツの保持をどう扱うのかを解説します。

コンテンツモデレーションの仕組みの多くは、公開前に検査できる素材、あるいはアップロード後に審査できる素材を前提に開発されてきました。ライブ動画の場合、プラットフォームが対処に使える時間ははるかに限られます。

画像や録画済みの動画であれば、ハッシュ化して既知の違法コンテンツのデータベースと照合したり、人間の審査担当者に回したりできます。たとえばMicrosoftは、コンシューマー向けサービスで既知の有害な画像・動画コンテンツを特定するために、PhotoDNAとMD5を使用していると説明しています。

ライブサービスでも、セッションの進行中にフレームや短い動画セグメントを検査できます。問題は技術的なタイミングです。一部のフレームがすでに視聴者に届いている可能性があっても、配信を中断したり、参加者に警告したり、それ以上の被害拡大を抑えたりするには、十分に素早く検知しなければなりません。

こうした時間的な制約は、検知モデル、人間による審査、暗号化、データ保持の使い方にも影響します。ライブモデレーションは不可能ではありませんが、アップロードされたファイルを前提としたモデレーションとは異なる技術的・方針的な選択が求められます。

ライブ動画は対処に使える時間がほとんどない

インタラクティブな動画は遅延の影響を受けやすい媒体です。撮影、エンコード、伝送、再生だけですでに処理時間の一部が消費されます。そのため、モデレーションシステムは、会話を目に見えて遅くすることなく動作させなければなりません。

人間の審査担当者が、コンテンツが別の参加者に届く前にすべてのライブセッションを確認することはできません。そのため最初の判定は自動システムが担い、人間は通報、異議が出た判定、さらなる調査に回された案件を扱います。

プラットフォームは、セッションをすぐに終了せずに対応することもあります。検知結果に応じて、監視の強化、映像のぼかし、警告の表示、アカウントの制限、審査への回付などを行う場合があります。取れる対応は、コンテンツの深刻度と検知モデルの確信度によって決まります。

AWSは、ライブコンテンツモデレーションのワークフロー例を公開しています。ライブチャンネルからフレームを抽出して分析し、選択したフレームを保存し、指定したコンテンツを検知すると配信を停止する仕組みです。ライブ分析が技術的に可能であることを示していますが、設計では処理コスト、遅延、検知エラーを考慮する必要があります。

フレームのサンプリングが検知の空白を生む

多くのサービスは、すべてのフレームを分析する代わりに、フレームや短いクリップをサンプリングして処理負荷を下げています。どの頻度にするかは、利用できる計算能力、セッション数、端末の性能、検知対象となる被害の種類によって異なります。

サンプリングには避けられないトレードオフがあります。検査するフレームを減らせば処理コストは下がりますが、禁止されたコンテンツがチェックの合間に現れて消える時間が長くなります。頻度を上げれば検知の機会は増えますが、より多くの計算資源が必要です。

固定の頻度だけが選択肢ではありません。低い頻度から始め、ほかのシグナルがリスクの高まりを示した時点で頻度を上げることも可能です。複数の通報を受けた新規アカウント、短時間での切断の繰り返し、不審な端末の挙動などが、より頻繁な分析のきっかけになります。

プラットフォームのモデレーションに関する主張を評価する際は、コンテンツをどのくらいの頻度で検査しているのか、どのような事象で頻度が上がるのか、モデルが不確かな結果を返した後に何が起きるのかを確認する必要があります。

検知モデルをどこで動かすか

モデレーションモデルをどこで動かすかは、プライバシー、性能、改ざんへの耐性に影響します。主な方式は、サーバー側処理、オンデバイス処理、ハイブリッド処理の3つです。

サーバー側処理では、プラットフォームがモデルの更新や計算資源をより細かく管理できます。一方で、サーバーが検査できる形で動画にアクセスする必要があり、プライバシー、 セキュリティ、法的な懸念が生じます。

CompareSecurity

オンデバイス処理では、生のコンテンツをユーザーの手元に近い場所に置けますが、モデルはプラットフォームの管理外にあるハードウェア上で動きます。攻撃者がアプリケーションを改変してチェックを無効にしたり、モデルを調べて苦手な入力を見つけ出したりするおそれがあります。

ハイブリッド方式は、ローカルで選別したうえで、追加の分析のために一部の素材を送信します。サーバーに届く動画の量は抑えられますが、どちらの方式にも共通する弱点がなくなるわけではありません。

エンドツーエンド暗号化ではサーバー側のコンテンツ検査ができない理由

参加者だけがセッションにアクセスできると主張しながら、コンテンツ分析のためにサーバー上でそのセッションを復号することはできません。平文をサーバー側で検査することは、エンドツーエンド暗号化の根幹であるプライバシー保証と相容れません。

クライアントサイドスキャンは、暗号化の前、あるいは受信者の端末で復号した後にコンテンツを検査する方法として提案されてきました。しかし、セキュリティやプライバシーの研究者からは、一貫して強い反対を受けています。

Bugs in Our Pocketsでは、14人の暗号研究者とセキュリティ研究者が、クライアントサイドスキャンが回避、転用、悪用される可能性を検証しました。個人の端末にスキャン機能を置けば、本来検知する想定だったコンテンツの種類を超えたリスクが生じると指摘しています。

この論文は2021年にプレプリントとして公開され、2024年にJournal of Cybersecurityに掲載されました。その指摘は、保存された素材や、送信前に分析される動画を含む、ユーザー端末上で検査される通信にも当てはまります。

エンドツーエンド暗号化があっても、あらゆるモデレーションができなくなるわけではありません。ユーザーによる通報、アカウントの制限、メタデータの分析は、プラットフォームがセッションの内容に日常的にアクセスしなくても利用できます。

暗号化されたシステムにおけるモデレーションを扱った別の研究では、通報とメタデータに基づく手法のほうが、暗号化サービスに期待されるプライバシーとセキュリティの特性を維持しやすいことがわかりました。

行動シグナルは動画へのアクセスを必要としない

ライブサービスは、カメラに何が映っているかを分析しなくても、アカウントの振る舞いを調べることができます。有用なシグナルとしては、セッションの長さ、再接続の繰り返し、通報履歴、アカウントの経過期間、端末情報、参加者が最初の数秒以内に会話を終了する頻度などが挙げられます。

大規模なユーザー基盤を抱えるビデオチャットサービスは、こうしたシグナルをフレームやクリップの分析の補助に使えます。1枚の画像では判断がつかなくても、アカウントの行動が繰り返されていれば、審査に値するパターンが見えてきます。

行動分析は、コンテンツ検査の完全な代わりにはなりません。繰り返される行為、組織的な悪用、停止後の再参入の試みは見つけられますが、初めての違反者や、事前の兆候がない有害な事態は見逃すおそれがあります。

この種の監視には、プライバシー上の義務も伴います。アカウント履歴、端末の評判、行動プロファイルは、追加的な データ収集や自動化された意思決定を伴う場合があります。プラットフォームは、何を、なぜ収集し、その情報をどのくらいの期間保持するのかを文書化すべきです。

StoreBig Data

データ保持はプライバシーに関するもう一つの判断を迫る

通報はセッション終了後に届くことが多くあります。何も保持しないプラットフォームでは、調査に使える証拠がほとんど残らない場合があります。一方、すべてのセッションを録画すれば、流出や悪用、法的手続きによる開示要求の対象となりうる私的な動画のアーカイブができあがります。

より安全なのは、文書化された目的に必要な最小限の素材だけを保持し、アクセスを制限して暗号化し、定められたスケジュールに従って確実に削除する方法です。保持期間は、通報の遅れ、保護上の要件、法的義務を踏まえて設定する必要があります。

サービスによっては、特定のセッションに紐づくサンプリング済みフレームや、暗号化された短いバッファを保持することもあります。その場合、アクセスは、ユーザーからの通報や確信度の高い自動アラートをきっかけとする、承認された審査に限定できます。

セッションが録画されるのか、サンプリングした画像が保持されるのか、誰がアクセスでき、いつ削除されるのかを、ユーザーに伝えるべきです。こうした選択は、社内の運用文書だけでなく、製品のプライバシーとセキュリティの設計に盛り込まれるべきものです。

プラットフォームが答えるべき問い

ライブ動画のモデレーションは、アップロードされた画像のモデレーションを速く行うだけのものではありません。時間的制約のある検知、不完全なサンプリング、プライバシー上の制限、そして分析をどこで行うかという判断が組み合わさっています。

ライブ動画サービスを評価する人は、推論がどこで実行されるのか、フレームやクリップをどのくらいの頻度で検査するのか、どのような事象で監視が強化されるのか、保持されたコンテンツがどのくらいの期間利用可能なのかを確認すべきです。

こうした回答からは、ユーザーの安全に対する一般的な取り組み姿勢の表明よりも、そのプラットフォームのモデレーションとプライバシーに関する選択がはるかによくわかります。