Google Geminiの3つの脆弱性がAIを攻撃手段に変える

出典：Nico El Nino（Alamy Stock Photoより）

GoogleのGemini AIアシスタントスイートの異なるモデルに存在する3つの脆弱性が、それぞれ様々なインジェクション攻撃やデータ流出にさらされ、ユーザーに深刻なプライバシーリスクをもたらすことが研究者によって明らかになりました。これらの脆弱性は、これらのモデルが攻撃者の標的となるだけでなく、ユーザーに対して武器化される可能性があるため、厳格なセキュリティパラメータが必要であることを示しています。

Tenableの研究者は、GoogleのAIモデルファミリー内の複数のプロダクト、具体的にはGemini Search Personalization、Gemini Cloud Assist、そしてGemini Browsing Toolに「Gemini Trifecta」と名付けた脆弱性を発見し、本日発表したレポートで明らかにしました。

Search Personalizationの脆弱性は検索インジェクション攻撃に、Cloud Assistの脆弱性は低レベルのプロンプトインジェクション攻撃に、それぞれモデルが脆弱となっていました。レポートによると、Browsing Toolには攻撃者がユーザーの保存情報や位置情報を流出させることができる脆弱性がありました。すべての脆弱性はGoogleに報告され、Googleはそれぞれの性質に応じた修正を行いました。

「GoogleのGeminiのようなAIアシスタントは、ユーザーが情報とやり取りする方法に不可欠な存在となっています」とTenableのシニアセキュリティリサーチャー、Liv Matan氏はレポートで述べています。「しかし、これらのツールの機能が拡大するにつれて、基盤となるシステムの脆弱性に関連するリスクも増大しています。」

Gemini AI防御の穴を見つける

Googleは、データ流出を防ぐためにGemini AIアシスタントの強化に considerable efforts（多大な努力）を払っており、Geminiの応答をサンドボックス化してデータ漏洩を防いでいると、Matan氏はレポートで認めています。

これを踏まえ、またGeminiが過去にも脆弱性があったことを知っていたTenableの研究者たちは、「Googleの既存の防御があっても、攻撃者が制御するサーバーへのツールベースのデータ流出を引き起こすプロンプトを侵入させることができるか」試みました。その過程で、複数のモデルにデータ流出や攻撃を可能にする脆弱性が見つかりました。

1つ目の脆弱性は、Search Personalizationにおける検索インジェクションの脆弱性で、攻撃者がプロンプトを注入し、Geminiの挙動を制御し、ユーザーの保存情報や位置情報をChromeの検索履歴を操作することで漏洩させる可能性がありました。

この脆弱性は、モデルがユーザーの検索履歴に基づいて応答を文脈化するために存在していました。つまり、「検索クエリは実質的にGeminiが処理するデータである」とMatan氏は書いています。これにより、検索履歴は単なる受動的な文脈ではなく、能動的な入力にもなり得ると述べています。

研究者たちは、悪意のあるウェブサイトのJavaScriptを使って、注入された検索クエリを通じてこの文脈にプロンプトを挿入できる攻撃を作成しました。「被害者が攻撃者のウェブサイトを訪れると、JavaScriptが悪意のある検索クエリを被害者のブラウジング履歴に注入します」とMatan氏は述べています。

その後、ユーザーがモデルとやり取りすると、モデルはユーザーの検索クエリ、つまり攻撃者によって注入された悪意のある検索クエリも処理します。これらは本質的にGeminiへのプロンプトインジェクションとなります。

研究者たちは、Cloud Assistにも別のプロンプトインジェクションの脆弱性を発見しました。Cloud Assistは、Google Cloud Platform（GCP）の複雑なログを要約し、推奨事項を提示するための機能です。

この機能を評価する中で、Geminiがメタデータを要約するだけでなく、生のログから直接データを取得していることに研究者たちは気付きました。これにより、ログ内容に隠されたプロンプトインジェクションを通じてGeminiに命令を実行させる攻撃が可能となりました。

このようにして、モデルはクラウドリソースを危険にさらす可能性があり、攻撃者がフィッシング攻撃を行うことも可能になります。「この脆弱性は、クラウドおよび一般的な新しい攻撃クラスを示しており、ログインジェクションがAIの入力を任意のプロンプトインジェクションで汚染することができます」とMatan氏は述べています。

AI支援ブラウジングによるデータ流出

最後に、Gemini Browsing Toolの脆弱性により、モデルがライブのウェブコンテンツにアクセスし要約を生成できる機能を悪用して、攻撃者がユーザーの保存情報や位置情報を流出させることが可能となり、ユーザープライバシーが危険にさらされる可能性がありました。

研究者たちは、ツールの「Show thinking」機能（Geminiがプロンプトにどのように反応・処理し、どのようなアクションを取るかを表示する）を悪用して、サイドチャネルによるデータ流出経路を開くプロンプトエンジニアリング攻撃を作成しました。

「この機能は、Geminiがブラウジング時に行う内部コールを漏洩させ、Geminiの言語を使って即座にツールを呼び出し、協力させることができました」とMatan氏は説明しています。

Gemini AIの脆弱性に対するGoogleの対策

Tenableはすべての脆弱性をGoogleに報告し、Googleはそれぞれに特化した修正を行いました。Search Personalizationの脆弱性を緩和するため、Googleは脆弱なモデルをロールバックし、検索パーソナライズ機能の強化を続け、レイヤードプロンプトインジェクション防御戦略を用いてこの種の攻撃に対する製品の強化を図っています。

一方、GCPプロダクトチームはCloud Assistに対し、すべてのログ要約応答でハイパーリンクのレンダリングを停止する変更を加えました。例えば、「このリンクを参照」は現在「この[リンク](http://google.com)」のように表示されます。

最後に、GoogleはBrowsing Toolの脆弱性に対し、間接的なプロンプトインジェクションによるブラウジングからのデータ流出を防止する対策を講じました。

AIによる攻撃を防ぐには

Gemini Trifectaの脆弱性は緩和されましたが、これらの存在やGeminiおよび他のAIツールにおける類似の脆弱性は、企業にとって重大な懸念であることを浮き彫りにしています。攻撃者はこれらのツールや内部に保存された機密情報を操作し、「認証情報の収集、権限の昇格、データ流出」を狙っています、とMatan氏はDark Readingへのメールで述べています。

「攻撃者はまた、接続されたサービスを悪用して、より機密性の高いデータが存在する可能性のある他の攻撃対象領域へ横展開する方法を見つけることもできます」と彼は警告します。

GoogleのGeminiのようなAIアシスタントが情報とのやり取りに不可欠な存在となる中で、「防御側はAI統合を受動的なツールではなく、能動的な攻撃対象領域として扱い、ユーザーを保護するためのセキュリティパラメータを設ける必要があります」とMatan氏は述べています。

これを実現するには、「すべてのAIツール（許可済み・未許可を問わず）への可視性を確保し、ログや検索履歴の改ざん（特にプロンプトインジェクションの試み）を定期的に監査し、データ流出を示唆する異常な外部送信リクエストを監視する」など、さまざまな方法があります。

また、組織がAIサービスのプロンプトインジェクション耐性をテストし、入力のサニタイズやツール実行の厳格な監視など、レイヤード防御を実装することも重要です、とMatan氏は付け加えています。