Geminiトリフェクタが間接的なプロンプトインジェクションの危険性を浮き彫りに

ネットワーク防御担当者は、AI統合を積極的な脅威の対象として扱い始めるべきだと専門家は警告しています。これは、Google Geminiにおける3つの新たな脆弱性が明らかになったことを受けてのものです。

Tenableは今回の発見を「Geminiトリフェクタ」と名付けました。これは、攻撃者がGoogleのGenAIツールを間接的なプロンプトインジェクションやデータ流出のために操作できる3つの方法から成るためです。

最初の間接的プロンプトインジェクションの脆弱性は、Gemini Cloud Assistに影響します。これは、Google Cloud Platform（GCP）の複雑なログをユーザーが理解しやすいように、エントリを要約し、推奨事項を提示するためのツールです。

この攻撃は、攻撃者が制御するテキストをログエントリに挿入し、それがCloud Assistによって要約されることで機能します。その指示がGoogleのツールによって無意識のうちに実行されてしまいます。

「これをテストするため、模擬被害者のCloud Functionを攻撃し、Cloud FunctionへのリクエストのUser-Agentヘッダーにプロンプトインジェクション入力を送りました。この入力は自然にCloud Loggingに流れ込みます。そこから、被害者がGCPのLog Explorer内のGemini統合を通じてログを確認するシナリオをシミュレーションしました」とTenableは説明しています。

「驚いたことに、Geminiは攻撃者のメッセージを表示し、フィッシングリンクをログ要約に挿入し、それがユーザーに出力されました。」

AI脅威についてさらに読む: 「PromptFix」攻撃がエージェンティックAI脅威を加速させる可能性

レポートによると、GCPのログは、認証されていない攻撃者によって、標的型または「スプレー」方式で全GCPのパブリックサービスに注入される可能性があります。

このようにクラウドログを汚染することで、攻撃者はアクセス権を昇格させたり、機密資産をクエリしたり、クラウドプラットフォーム内で誤解を招く推奨事項を表示させたりできると警告しています。

2つ目の間接的プロンプトインジェクション攻撃手法は、GeminiのSearch Personalization Modelを標的としています。これは、ユーザーの検索履歴に基づいて応答を文脈化するツールです。

研究者たちは、悪意のあるクエリをユーザーのChrome検索履歴に注入しようとしました。Geminiは後にこれらのクエリを信頼できるコンテキストとして処理し、攻撃者がGeminiの挙動を操作したり、機密データを抽出したりできるようになります。

「この攻撃は、悪意のあるウェブサイトからJavaScriptを使って悪意のある検索クエリを注入することで実行されました。被害者が攻撃者のウェブサイトを訪れると、JavaScriptが被害者の閲覧履歴に悪意のある検索クエリを注入します」とTenableは説明しています。

「ユーザーがGeminiのSearch Personalization Modelとやり取りすると、ユーザーの検索クエリが処理され、その中には攻撃者によって注入された悪意のある検索クエリ（本質的にはGeminiへのプロンプトインジェクション）も含まれます。Geminiモデルはユーザーの記憶、いわゆる『保存情報』やユーザーの位置情報を保持しているため、注入されたクエリはユーザー固有の機密データにアクセスし、抽出することができます。」

このようにして、悪意のある検索インジェクションによって、攻撃者はAIの「記憶」として保存されている個人や企業のデータを収集できる可能性があるとレポートは警告しています。

Geminiブラウジングツールを使ったデータ流出

Tenableが詳述した3つ目の攻撃は、悪意のあるプロンプトを使ってGeminiブラウジングツールを騙し、被害者の機密データを攻撃者が制御するサーバーに送信させるものです。

「Geminiブラウジングツールは、モデルがライブのウェブコンテンツにアクセスし、その内容に基づいて要約を生成することを可能にします。この機能は強力ですが、プロンプトエンジニアリングと組み合わせることで、サイドチャネルによるデータ流出経路が開かれました」とTenableは説明しています。

「もしGeminiに、クエリストリングに機密データが含まれるURLのウェブページを『要約』するよう依頼したらどうなるでしょうか？Geminiは被害者の機密データをリクエストに含めて、悪意のある外部サーバーにアクセスするのでしょうか？」

試行錯誤の末、研究チームは実際にこの動作をツールにさせることに成功しました。重要なのは、Geminiの「思考を表示」機能を参照し、ツールの内部ブラウジングAPIコールを明らかにしたことです。これにより、TenableはGeminiのブラウジング言語を使ったプロンプトを作成できました。

研究者たちは、今回の研究で侵害されたツールよりもさらに広範な攻撃対象領域が存在する可能性があると警告しています。これには、GCP APIのようなクラウドインフラサービス、Geminiと統合された企業向け生産性ツール、Geminiの要約やコンテキスト取り込みを組み込んだサードパーティアプリなどが含まれます。

Googleはこれら3つの問題をすでに修正しましたが、Tenableはセキュリティチームに以下を推奨しています：

• 攻撃者が制御するコンテンツが間接的にAIシステムに到達することを前提とする
• 入力のサニタイズ、コンテキストの検証、ツール実行の厳格な監視など、多層防御を実装する
• AI対応プラットフォームに対して定期的にペンテストを実施し、プロンプトインジェクションへの耐性を確認する