Google Geminiの欠陥が、企業における新たなAIプロンプトインジェクションのリスクを露呈

カレンダーを基盤としたプロンプトインジェクション手法により、生成AIシステムが信頼された企業データを通じて操作され得ることが明らかになった。

GoogleのGeminiで新たに開示された弱点により、攻撃者が日常的なカレンダー招待を悪用してモデルの挙動に影響を与え得ることが示された。企業が生成AIを日々の生産性向上や意思決定のワークフローに組み込む中で、台頭するセキュリティリスクが浮き彫りになっている。

この脆弱性はアプリケーションセキュリティ企業Miggoによって特定された。Miggoの報告書で、同社の研究責任者Liad Eliyahuは、Geminiがユーザーのカレンダーイベントの完全な文脈(タイトル、時間、参加者、説明など)を解析し、ユーザーのその日の予定がどうなっているかといった質問に答えられるようにしていると述べた。

「この攻撃の仕組みは、その統合を悪用します」とEliyahuは述べた。「Geminiは役に立つためにイベントデータを自動的に取り込み解釈するため、イベントの各フィールドに影響を与えられる攻撃者は、後にモデルが実行してしまう可能性のある自然言語の指示を埋め込めます。」 

Miggoの研究者は、この発見がLLMベースのシステムが直面するより広範なセキュリティ課題を浮き彫りにしていると述べた。そこでは、明確に識別可能な悪意あるコードを突くのではなく、意味や文脈の操作に焦点を当てた攻撃が行われる。

「このGeminiの脆弱性は、単なる孤立した例外的ケースではありません」とEliyahuは述べた。「むしろ、検知がAIネイティブな脅威に追いつけていないことを示すケーススタディです。従来のAppSecの前提(認識可能なパターンや決定論的ロジックを含む)は、言語と意図で推論するシステムには明確に当てはまりません。」

従来型攻撃との深刻度の比較

この問題が重要なのは、従来のソフトウェア欠陥をなぞるからではなく、AIシステムがソーシャルエンジニアリング攻撃に似た方法で操作され得ることを示しているからだ。

「従来、カレンダー招待、メール、文書はデータとしてのみ扱われます」と、サイバーセキュリティアナリストのSunil Varkeyは述べた。「攻撃者は、データだけに頼るのではなく、システムに『何かをさせる』ためにコードのロジックやメモリ安全性を破らなければなりません。」

しかしこのケースでは、「バグ」は欠陥のあるコードというより、LLMが文脈の中で言語をどう解釈するか、そして接続されたアプリケーション全体にまたがる権限と組み合わさる点にあると、IDCアジア太平洋サイバーセキュリティサービスのシニアリサーチマネージャーであるSakshi Groverは述べた。

「その組み合わせが、通常の業務オブジェクトであるカレンダー招待を攻撃ペイロードに変えてしまいます」とGroverは述べた。「これは、大手ベンダーにおけるLLMセキュリティが、現実世界の企業の脅威モデル、特に間接的プロンプトインジェクション、ツール利用、アプリ間データ取り扱いの領域で、まだ追いついていないことを示しています。」

Confidisの創業者兼CEOであるKeith Prabhuは、この攻撃の実行はGoogle Geminiを通じて起こるものの、よりフィッシング型の手法に近いと述べた。

「悪意ある招待がユーザーに受諾されると、Geminiは受諾済みの招待を信頼できるものとして扱い、プロンプトを実行します」とPrabhuは述べた。「コンピューティングの世界の他の部分がゼロトラストへ移行する一方で、AIツールはデスクトップの構成要素を暗黙に信頼しています。AIツールは、マルウェアが直接できない作業を行う『コンシェルジュ』として悪用され得るため、これは重大な欠陥になり得ます。」

企業における現実的な露出

アナリストは、組織が機密性の高いシステムに接続されたAIコパイロットを急速に展開する中で、企業環境におけるリスクが大きいと指摘している。

「社内コパイロットがメール、カレンダー、文書、コラボレーションツールからデータを取り込むようになると、単一の侵害されたアカウントやフィッシングメールが、気付かれないまま悪意ある指示を埋め込む可能性があります」と、SureShieldのCTOであるChandrasekhar Biluguは述べた。「従業員が日常的な問い合わせを実行すると、モデルがこの操作された文脈を処理し、意図せず機密情報を開示してしまう可能性があります。」

Groverは、プロンプトインジェクションの脅威が理論から運用へ移行したと述べた。「2025年8月に実施したIDCのアジア太平洋調査では、インドの企業が『LLMのプロンプトインジェクション、モデル操作、またはAIアシスタントの脱獄(ジェイルブレイク)』を、AI学習中の『モデル汚染または敵対的入力』に次いで2番目に懸念されるAI主導の脅威として挙げました」と彼女は付け加えた。

優先すべき対策

Prabhuは、セキュリティ責任者が全従業員向けの年次情報セキュリティ研修の一部としてAIセキュリティの意識向上を組み込む必要があると述べた。また、この新たな攻撃ベクトルによる脅威を念頭に、エンドポイントも強化する必要があるという。

Groverは、組織はプロンプトインジェクション攻撃が発生することを前提に、リスクを完全に排除しようとするのではなく、潜在的な被害範囲(ブラスト半径)を制限することに注力すべきだと述べた。そのためには、AIシステムに最小権限を適用し、ツール権限を厳格にスコープし、既定のデータアクセスを制限し、AIが開始するあらゆるアクションを業務ルールと機密性ポリシーに照らして検証することが必要だという。

「目的は、どのモデルもそうであるように、言語に対してモデルを免疫化することではありません。そうではなく、たとえ操作されたとしても、必要以上のデータにひそかにアクセスしたり、二次的なチャネルを通じて情報を持ち出したりできないようにすることです」とGroverは付け加えた。

Varkeyはまた、セキュリティ責任者は環境内でAIコパイロットをどう位置付けるかを再考すべきで、単純な検索ツールのように扱うことに警鐘を鳴らした。「強固なガードレールを備えたゼロトラスト原則を適用してください。データアクセスを最小権限に制限し、信頼できないコンテンツが信頼された指示にならないようにし、共有・送信・業務システムへの書き戻しといった高リスクの行為には承認を必須にすることです」と彼は付け加えた。

翻訳元: https://www.csoonline.com/article/4119029/google-gemini-flaw-exposes-new-ai-prompt-injection-risks-for-enterprises.html

ソース: csoonline.com