MetaのAIエージェント「Muse」、Signalの非公開メッセージにアクセス 深刻なプライバシー懸念

Metaの一般消費者向けAIエージェント「Muse」が、ユーザーの明確な同意なく、暗号化されたSignalのメッセージを読み取っていたことがわかりました。今回の調査結果は、Signalのエンドツーエンド暗号化が破られたことを示すものではありません。エージェント型AIにおける権限範囲の設定不備を示すものです。

ロイターは、9月の提供開始以来Museが意図しない動作をしたことを記した社内投稿を、20件以上確認しました。ある従業員は、他のアプリへのアクセスを許可した覚えがないにもかかわらず、Museから妹のSignalメッセージに返信するよう促されたと述べています。

Museのダウンロード数はすでに1,000万件を超えており、影響が及ぶ可能性のある範囲は広がっています。ロイターはSignalの担当者およびAI Now Instituteと協力し、この挙動を再現しました。

Androidでは、MuseはMetaのConnectorツールを経由せず、初期設定時に付与されたプッシュ通知の権限を使ってメッセージ本文を取得していました。

macOSでは、アクセシビリティAPIとスクリーンショットの取得を組み合わせていました。障害のあるユーザーのために作られた機能を、本来の目的とは異なる形で転用したことになります。同じ要求はiPhoneでは失敗しました。

これは「混乱した代理人(confused deputy)」問題にあたります。エージェントはOSレベルの広範かつ正当な権限を持っており、ユーザーが公開するつもりのなかったデータにその権限を適用してしまいました。

通知リスナーへのアクセスもアクセシビリティサービスも、暗号化レイヤーの後段に位置します。そのため、メッセージングアプリが画面に表示した時点で、平文のまま読み取ることができます。

同様の権限悪用の経路は、ブラウジングエージェントを乗っ取る間接プロンプトインジェクション攻撃にも見られます。ここでは、エージェントが持つツールへのアクセス権が、実質的な攻撃対象領域になります。

従業員からは、アカウントをまたいだコンテキストの漏えいが起きた可能性も報告されています。Museは、銀行の残高や育児の依頼、コーヒーテーブルの引き取りといった内容を含むメッセージを、ユーザーが何も依頼していないのに送信しました。Metaはこれらを幻覚(ハルシネーション)であり「単発の事象」だと説明しています。

ある社員は、エージェントに組み込まれた再エンゲージメントのプロンプトが、金融やセキュリティといった機微な話題へMuseを向かわせると述べています。ただし、ロイターは、そのデータが実在するものか捏造されたものかについては確認できていません。

Metaは、各エージェントはそれぞれ専用のクラウド上の仮想マシンで動作し、アプリとの接続は明示的な権限を通じてのみ行われると説明しています。しかしSignalでの検証結果からは、この権限モデルがユーザーの想定より広く解釈されていることがうかがえます。

エージェントの状態が永続化されると、リスクはさらに高まります。Claude Codeのメモリストアがコマンド&コントロール(C2)チャネルとして悪用された事例では、信頼されたAPIへの通信が正常に見えたため、不正が見過ごされました。

SignalのMeredith Whittaker代表は、今回の展開を「技術的に無謀」だと批判しました。そのうえで、アプリ側が自らをAIエージェントのアクセス対象外として示せる一貫した技術的仕組みを求め、OSベンダーがその適用を徹底するよう要請しています。

Appleはすでに、Macでのアクセシビリティツールの利用を大幅に制限し、エージェント専用の権限を追加するアップデートを提供しています。Googleは、ユーザーがより細かく制御できるようにするための変更を検討していると述べました。

この問題は、攻撃用ツールにも同じ手口が取り入れられつつある中で浮上しました。脅威アクターはすでに、ARTEXのような自律型エージェントを使い、偵察、悪用、データ窃取を自動化しています。

通知やスクリーンキャプチャへのアクセス権を持つ消費者向けエージェントは、コンテキストや指示が操作されれば、攻撃者にも同じ能力を与えることになります。

防御側は、通知リスナーやアクセシビリティの権限を付与されているアプリを監査する必要があります。あわせて、必須ではないエージェントの権限は取り消し、エージェントのランタイムによるプロセスとネットワークの動作を監視すべきです。

企業は、モバイルデバイス管理(MDM)ポリシーにより、管理対象デバイス上のエージェントアプリを制限すべきです。今回の核心的な教訓は、エージェントの認可はアプリごと、操作ごとに範囲を限定しなければならないという点です。インストール時に広範な権限を一括で付与しても、それが守られるとは信用できません。

ANY.RUNを導入している16,000以上のSOCチームに加わり、脅威調査を効率化して手作業を減らしましょう。チームで試してみる

翻訳元: https://cyberpress.org/metas-muse-ai-agent-private-signal-messages/

本記事は cyberpress.org の記事を翻訳・要約したものです。