偽装されたAIサイドバーがAtlasやCometのユーザーを危険な行動に誘導する可能性

OpenAIのAtlasとPerplexityのCometブラウザには、組み込みのAIサイドバーを偽装する攻撃に対して脆弱性があり、ユーザーが悪意のある指示に従ってしまう可能性があります。

AIサイドバースプーフィング攻撃は、ブラウザセキュリティ企業SquareXの研究者によって考案され、両ブラウザの最新バージョンで機能します。

研究者たちは、攻撃者がAIサイドバースプーフィングを利用して暗号資産の窃盗、ターゲットのGmailやGoogle Driveサービスへのアクセス、デバイスの乗っ取りを行う3つの現実的な攻撃シナリオを作成しました。

AtlasとCometは、エージェント型AIブラウザであり、大規模言語モデル（LLM）をサイドバーに統合し、ユーザーが閲覧中に対話できるようにしています。たとえば、現在のページの要約を依頼したり、コマンドを実行したり、自動化されたタスクを実行したりできます。

Cometは7月にリリースされ、ChatGPT Atlasは今週初めにmacOS向けに利用可能となりました。リリース以降、Cometは複数の研究[1, 2, 3]の対象となっており、状況によってはセキュリティリスクがあることが示されています。

悪意のあるAIエージェントの注入

SquareXは、CometとAtlasの両方で、悪意のある拡張機能を使ってユーザーが閲覧しているウェブページにJavaScriptを注入し、本物のサイドバーの上に偽のサイドバーを描画できることを発見しました。

偽のサイドバーはエージェント型ブラウザのものと全く同じ見た目で、標準のユーザーインターフェースの一部のように見える欺瞞的な要素を作り出します。偽物が本物の上に重なり、すべての操作を傍受するため、ユーザーは詐欺に全く気付かないでしょう。

「被害者が新しいブラウザタブを開くと、拡張機能はウェブページにJavaScriptを注入して、AIブラウザのサイドバーと全く同じ見た目の偽のサイドバーを作成できます」 – SquareX。

拡張機能を使うことで、注入されたJavaScriptはユーザーが訪れるすべてのサイトで悪意のあるサイドバーのオーバーレイを表示できます。

SquareXによれば、このような拡張機能には「host」と「storage」の権限だけが必要であり、これらはGrammarlyやパスワードマネージャーなどの生産性ツールでも一般的に使われています。

「偽装されたAIサイドバーと本物のAIサイドバーの間に見た目や操作の違いがないため、ユーザーは本物のAIブラウザサイドバーとやり取りしていると信じてしまう可能性が高い」と研究者たちは述べています。

SquareXは、CometブラウザでGoogleのGemini AIを使い、特定のプロンプトに対して悪意のある指示を返すようなパラメータを用いて実証しました。

SquareXがレポートで強調した3つの例は以下の通りです：

実際の攻撃では、さらに多くの「トリガープロンプト」を使い、ユーザーをさまざまな危険な行動に頻繁に誘導することができます。

調査時点では、OpenAIはまだAtlasブラウザをリリースしておらず、SquareXはCometのみでAIサイドバースプーフィング攻撃を試みました。

しかし、Atlasブラウザがリリースされた際にもこの攻撃を試し、AIサイドバースプーフィングが有効であることを確認しました。

研究者たちはこの問題についてPerplexityとOpenAIの両社に連絡しましたが、どちらからも返答はありませんでした。BleepingComputerも両社に問い合わせましたが、記事公開時点で回答は得られていません。

エージェント型AIブラウザのユーザーは、これらのツールが多くのリスクを伴うことを認識し、利用は機密性の低い活動に限定し、メールや金融情報、その他の個人データに関わる作業は避けるべきです。

新たな攻撃に対応するため、リリースごとに新しいセキュリティ対策が追加されていますが、これらのブラウザは依然として成熟度が十分ではなく、カジュアルな閲覧以外で許容できるレベルまで攻撃対象領域を減らすには至っていません。