Gemini Enterpriseのノークリック脆弱性が機密データを露出

出典: Demerwha Studio / Shutterstock

Googleは、Gemini Enterprise AIアシスタントに見つかった重大な欠陥を修正した。この欠陥により、攻撃者は共有のGoogleドキュメント、カレンダー招待、メールといった一般的な企業アーティファクトに悪意ある指示を仕込むことで、機密の企業データへアクセスし、持ち出すことが可能だった。プロンプトインジェクション攻撃は、従業員の操作や警告なしに発生し得るものだった。

Noma Labsの研究者らは、この欠陥を発見し「GeminiJack」と名付けた。これは「エンタープライズAIシステムが情報を解釈する方法におけるアーキテクチャ上の弱点」として現れるもので、本日公開されたレポートによると、共有文書や外部から提供された文書内に隠された指示を埋め込むことで、攻撃者が機密の企業情報を盗み出せる状態になっていた。

レポートによれば、「攻撃者は、予算に関する間接的なプロンプトインジェクションを含むGoogleドキュメントを、通知なしに共有できる」。そして「その後、従業員が『当社の予算を見せて』といった標準的な検索をGemini Enterpriseで行うと、AIは自動的に汚染された文書を取得し、その指示を実行してしまう」という。

Nomaによると、この欠陥が存在したのは、Gemini Enterpriseが組織のGmail、カレンダー、ドキュメント、その他のWorkspaceデータソースにアクセスできるためだ。これは、文書内に埋め込まれた指示がAIに対し、それらすべてを横断して検索させるトリガーとなり、攻撃者は偽装された外部画像リクエストを通じて検索結果、ひいては機密情報にアクセスできることを意味していた。

この一連のプロセスは、標的となった従業員によるクリック操作なしに、また何か悪意ある行為が起きていると気付かせる兆候もなく進行した。さらにレポートによれば、この悪意ある活動は従来型のセキュリティツールを一切トリガーしなかった。

レポートは「組織がGmail、ドキュメント、カレンダー全体を読み取れるAIツールを採用するにつれ、AI自体が新たなアクセスレイヤーとなる」と指摘する。「攻撃者がAIが何を読むかに影響を与えられれば、AIが何をするかにも影響を与えられる。」

Googleは修正で協力

NomaはGoogleと直接協力して研究者の発見を検証し、修正として、Gemini EnterpriseとVertex AI Searchが基盤となる検索・インデックスシステムとやり取りする方法を変更するアップデートを展開した。

レポートによると、「発見後、Vertex AI Search（VAIS）はGemini Enterpriseから完全に分離され、もはや同じLLM駆動のワークフローやRAG（Retrieval-Augmented Generation）機能を使用していない。」

この欠陥は、研究者がGeminiや他のAIアシスタントにおいて欠陥を発見したのが初めてというわけではない。しかし、包括的な証明書ライフサイクル管理プロバイダーSectigoのシニアフェローであるJason Sorokoによれば、「通常のアシスタントの挙動のように見える中に潜む」という点で、これまでとは異なる。

SorokoはDark Readingに対し、このベクターは「主にプロンプトインジェクション、学習データの漏えい、あるいはユーザーがアクティブなチャットで情報を出し過ぎることに関する、これまでのAIの問題とは異なる」と語る。

このような形で、AIアシスタントは「組織がAIを責任を持って利用していると考えている場合でも、メール、ファイル、業務システムに深くアクセスできる高価値の単一障害点へと、ひそかになり得る」とSorokoは言う。「その結果、単一の巧妙なメッセージが、環境の大きな一部を開いてしまう可能性がある。」

プロンプトインジェクション攻撃の仕組み

この攻撃はまず、悪意ある行為者が一見普通のGoogleドキュメント、Googleカレンダーのイベント、あるいはGmailのメールを作成し、それを組織内の誰かと共有するところから始まる。文書は無害に見えるが、その内容の中には、AIに「budget（予算）」「finance（財務）」「acquisition（買収）」といった機密性の高い用語を検索させ、その結果を攻撃者が管理する外部画像URLに読み込ませるよう設計された指示が含まれている。

従業員がGemini Enterpriseを使って「第4四半期の予算計画」といった日常的な内容を検索しても、その検索プロセス自体には何も異常はない。しかし、Gemini Enterpriseが検索のために関連コンテンツを収集するリトリーバルシステムを使う際、攻撃者の文書がコンテキストに取り込まれてしまう。「AIはその指示を正当なクエリとして解釈し、自身がアクセス権を持つすべてのWorkspaceデータソースに対して実行する」とNomaは説明する。

このとき、攻撃者はデータを持ち出すことができる。なぜなら、Google Geminiは出力の中に攻撃者の外部画像タグを含めてしまうからだ。「ブラウザがその画像を読み込もうとすると、収集された機密情報が、単一のごく普通のHTTPリクエストを通じて攻撃者のサーバーに直接送信される」とレポートは述べている。

実践的な緩和策

GoogleはGeminiJackに対処し、Google Gemini Enterpriseを刷新して、この脆弱性を悪用するあらゆる可能性を排除したものの、Nomaによれば、RAGベースのAIシステムに対する同様の間接的プロンプトインジェクション攻撃には依然としてリスクが残っており、セキュリティコミュニティによる継続的な注視が必要だという。

実際、この欠陥は「エンタープライズセキュリティの考え方における根本的な転換」を示しているとNomaは述べている。同社の研究者らは、従来の境界防御、エンドポイント保護、データ損失防止（DLP）ツールは、「AIアシスタントがデータ流出エンジンになってしまう状況を検知するようには設計されていない」と指摘する。

レポートは「AIエージェントが企業データへのアクセス範囲を広げ、指示に基づいて自律的に行動するようになるにつれ、単一の脆弱性がもたらす被害範囲は指数関数的に拡大する」とも述べている。

実際、Sorokoは、機密データへのアクセス権を持つAIシステムを導入する組織は、それらを「強力なインフラ」として扱い始めなければならないと語る。これは、「コネクタには必要最小限のアクセス権のみを与え、データ分類とDLPを徹底し、他の特権サービスと同様の厳しさでアシスタントの活動を記録・レビューし、まずは範囲が狭く明確に定義されたユースケースから始める」といった緩和策を講じるべきだという意味だ。

また、組織は、データを変更したり他者に連絡したりするAIアシスタントの行為について、人間が必ず関与し続けるようにすべきだとSorokoは述べる。さらに、メールやチャットを起点とするシナリオに対して標的型レッドチーミングを実施し、従業員がAIアシスタントと安全にやり取りできているかを確認することで、悪意ある挙動を見抜く助けにもなるという。

一般論として、技術のアーリーアダプターは「AIの活動をメール、アイデンティティ、エンドポイントのシグナルと相関付けられるセキュリティプロバイダーとの連携を検討する」ことも有用だと、Sorokoは付け加える。