ai and ml
広告大手は「ユーザーが制御できる」とアピールするが、バグにより音声プロンプトが漏洩する恐れ
Metaは今月初めにAIアシスタントアプリ「Muse」を発表した際、Muse Secure VMへの依存を強調し、そのセキュリティ性を大きくアピールしていました。
この広告大手は「一人ひとりが自分のMuseをコントロールし、どこまでアクセスを許可するかを決められる」と宣言しており、これは自社のデータ収集事業のプライバシー保護についてこれまで繰り返してきた大々的な主張と同じ調子のものでした。
しかしMetaのMuseに関する説明は、やや誇張されていたようです。ローカルでコードを実行できる攻撃者であれば、Museのユーザーが想定している以上のアクセス権を得られる可能性があるのです。
非営利団体Objective-Seeの創設者であるセキュリティ研究者パトリック・ワードル(Patrick Wardle)氏は、Muse macOSアプリに存在するローカルのゼロデイ脆弱性についての概念実証(PoC)「not-a-mused」を開発しました。同氏によれば、この脆弱性を突くことで、特権を持たないローカルプロセスがMuseの音声入力トラフィックをリダイレクトし、アプリに付与されたアクセス権限を悪用できる可能性があるといいます。
ワードル氏がプロジェクトのリポジトリで説明しているところによると、Museには「endo_voyager_dictation_endpoint」という文書化されていない設定項目があり、ローカルでコードを実行できる攻撃者はこれを特別な権限なしに変更できます。これにより、音声入力トラフィックを攻撃者が制御するエンドポイントへリダイレクトでき、バックエンドのAIモデルに送信される音声やプロンプトが漏洩する恐れがあります。この脆弱性はプロンプトインジェクションや認証情報の窃取、さらにはユーザーがMuseに付与したあらゆる権限の悪用につながりかねません。
この脆弱性はリモートの攻撃者にとっての問題ではなく、ローカルでコードを実行できる能力が前提となります。そのためワードル氏によれば、主な懸念点は、この脆弱性によってローカルのマルウェアが本来得られるはずのないはるかに広範なアクセス権を得てしまうことにあるといいます。要するに、これは権限昇格の脆弱性なのです。
The Register との電話インタビューでワードル氏は、この状況を集合住宅に例えました。「悪い隣人が引っ越してきたからといって、その隣人が自動的にすべての部屋にアクセスできるようになるわけではありません」と同氏は語りました。
ワードル氏は、AppleがmacოS上での機密データへのアクセスを管理するTransparency, Consent, and Control(TCC)フレームワークや、権限分離の仕組みについて非常に優れた仕事をしてきたと評価しています。しかし同氏が懸念しているのは、AIアプリがデータやツールへの膨大なアクセスを要求・必要とするため、こうした防壁が骨抜きにされてしまうという点です。
AIアプリについて同氏は、「非常に便利で、非常に強力です。しかし、役立つように設定しようとすると、これらのアプリは膨大なアクセス権を持つことになります。基本的に、あなたのコンピューター上で何でもできてしまうのです」と述べました。
そのため、こうしたアプリはOSのセキュリティ制御を無効化しかねない、単一障害点になり得ると同氏は指摘します。
「ご存じの通り、こうしたAI企業はバグを見つけるための非常に優れたAIモデルを持っています」とワードル氏は言います。「なぜそれを自社のアプリに対して実行していないのでしょうか。自社アプリのセキュリティは優先事項ではないのでしょうか」
ワードル氏によると、macOS上のエンドポイント検出・対応(EDR)ソフトウェアは、すべてがコード署名されていることもあって大幅に改善されており、公証(notarize)されていない、実行を許可すべきではないプロセスを識別するのは容易になっているといいます。しかし、広範な権限とアクセスを与えられたAIエージェントが存在すると、EDR製品はそのコマンドがユーザー、エージェント、あるいは攻撃者のいずれから発せられたものかを判別できなくなってしまいます。
ワードル氏は、こうしたエージェントが人々の役に立つためにはアクセス権が必要だと述べています。しかし同氏によれば、AIアプリの開発企業に欠けているのは、自社のアプリが求めるアクセスレベルに対する責任感だといいます。
さらにワードル氏は、Appleはデバイス上で完結するローカル音声入力機能を提供しており、もしMetaがそのAPIを使用していれば、この脆弱性は存在しなかったはずだと付け加えました。同氏の見立てでは、Metaがあえて Appleのサービスを使わなかったのは、おそらくそのデータへのアクセスを望んでいたからだろうとのことです。
「ユーザーデータに対する彼らの貪欲さの一部が、結果として攻撃対象領域を広げる扉を開いてしまっているのだと思います」と同氏は述べました。「しかし結局のところ、こうしたAI企業は次なるものを求めて競争を続けています。ユーザーのプライバシーとセキュリティは、優先事項ではないのです」
Metaはコメント要請に対し、これまでのところ返答していません。®
