WhatsAppは、エンドツーエンド暗号化を維持したまま、連絡先未登録の相手からの詐欺の可能性があるメッセージをオンデバイスの機械学習モデルで識別する「Scam Alert(詐欺アラート)」機能の限定ベータ版展開を開始しました。
Metaはこの展開に合わせて詳細な技術概要を公開しており、広範な一般公開に先立ちセキュリティ研究者がシステムをテストできるようバグバウンティプログラムを拡大しています。
Cloud security services
検知モデルの仕組み
ユーザーがScam Alertを有効にすると、アプリは軽量な機械学習モデルを端末に直接ダウンロードします。このモデルは、既知の詐欺に典型的に見られる会話構造や言語パターンを分析することで、連絡先未登録の相手から届いたメッセージを分類します。
重要な点として、分類のためにメッセージ内容が端末外に送信されることはなく、ユーザーが明示的な操作を行わない限り、WhatsAppやMeta、第三者に対して何らかの報告がなされることもありません。
メッセージが検知対象としてフラグ付けされた場合、警告はユーザーのチャット画面にのみ表示され、ユーザーはブロック、報告、そのまま続行、あるいはそのチャットを「信頼済み」としてマークすることを選択できます。信頼済みにすると、以降その会話では警告が表示されなくなります。
プライバシーに配慮したテレメトリー
| 構成要素 | 機能 | プライバシー保護策 |
|---|---|---|
| オンデバイス推論 | 言語的・構造的シグナルを用いてメッセージを分類 | モデルとメッセージデータは端末外に出ない |
| 機密性を保った連合分析 | 機能が正しく作動しているかを測定 | 信頼できる実行環境(TEE)内で処理 |
| 警告件数 | モデルが警告を表示した頻度を追跡 | 集計済み・差分プライバシー適用、個人単位のデータなし |
| ユーザー操作件数 | 信頼/ブロック/報告の判断を追跡 | Metaに届く前にk-匿名性のしきい値とDPノイズを適用 |
| OHTTPリレー | テレメトリーとモデルのリクエストを中継 | リクエスト元IPを除去、匿名クレデンシャルで認証 |
| モデル配信 | 更新済み機械学習モデルを配布 | 展開前に第三者の追記専用透明性台帳へ公開 |
サーバーから配信されるモデルに共通する重大なセキュリティ上の懸念は「標的型配信」、つまり攻撃者や内部関係者が特定の個人に対して改ざんされたモデルを送り込む可能性です。Metaはこの問題に対処するため、展開前にすべてのモデルバージョンをSHA-256ハッシュで識別した上で、公開の透明性台帳に掲載しています。
Cloud security services
この工程はMeta自身ではなく第三者(Cloudflare)によって署名されます。ダウンロードリクエストは匿名クレデンシャルを用いたOHTTPリレー経由でルーティングされるため、サーバー側はどのユーザーがモデルを要求しているかを特定できません。
さらに、新しいモデルバリアント向けの実験グループへの割り当ては、端末上でローカルに生成された乱数を用いて完全にオンデバイスで行われます。
この測定パイプラインは、Metaの査読済みPAPAYA連合分析スタックを基盤とし、信頼できる実行環境として機密仮想マシン(CVM)を利用しています。
データはジョブ選定、匿名カウントへのローカル変換、オーケストレーターTEEとのRA-TLSアテステーション、安全な集計という流れで処理され、個々の指標は実行中のヒストグラムに統合された直後に破棄されます。
この脅威モデルでは、第三者やサプライチェーンのベンダー、悪意ある内部関係者、外部の攻撃者が明示的に考慮されています。多層防御の対策として、暗号化DRAM、CVMの堅牢化、標的化不可能なリレールーティングなどが含まれます。
ユーザーは「アカウント > 情報をリクエスト > 詐欺アラートの活動履歴」から自身のScam Alert利用状況を確認できます。このセクションには、どのメッセージがスキャンされたか、分類結果、使用されたモデルバージョンが記録されています。
ベータ版の公開に先立ち、Metaはバグバウンティプログラムを通じて外部の研究者を招き、プライバシーアーキテクチャとモデルの整合性を検証してもらいました。
同社は今後、この対象範囲を拡大し、機密連合分析パイプラインとモデルの重み付け自体も直接含める計画です。独立した情報筋によれば、この機能は今回の正式な技術発表に先立ち、WhatsApp Androidベータ版2.26.22.2で最初に確認されていたとのことです。
SecurityWeek、PCMag、Social Media Todayを含む業界メディアは、Scam Alertを、オンデバイスAI検知とエンドツーエンド暗号化の保証との両立を示す重要な事例として取り上げており、検知機能そのものよりも検証可能性へのコミットメントを強調しています。
新たなフィッシングやマルウェアが貴社を侵害する前に阻止しましょう。 世界15,000のSOCからのライブインテリジェンスを統合
翻訳元: https://gbhackers.com/whatsapp-introduces-on-device-scam-alert/
