Dialogflow CXの「不正エージェント」脆弱性、AIチャットボットからのデータ窃取を可能に

Googleは最近、Googleの主力AIツールの1つで構築されたAIエージェントやチャットボットから、攻撃者がデータを奪取できてしまう脆弱性を修正しました。

Varonisの研究者は今週、Google Cloud PlatformのDialogflow CX AIプラットフォームにおける権限境界の問題「Rogue Agent(不正エージェント)」を公表しました。Varonis Threat Labsはこれを「重大な脆弱性」と表現しています。同社の調査ブログ記事によると、Rogue Agentは「攻撃者がCode Blocks機能を悪用し、Dialogflowエージェントのパイプラインに永続的な悪意あるコードを注入することを可能にし、会話内容を密かに窃取したり、大規模なフィッシングキャンペーンを展開したりできる」ものだったとしています。

悪用には、1つのDialogflowエージェントに対して「dialogflow.playbooks.update」という単一の権限を更新するだけで足りました。

この脆弱性はすでに対処済みであり、顧客側での対応は不要です。Varonisは2025年11月にこの問題をGoogleに報告し、Googleは4月に暫定パッチをリリースした後、先月完全な修正を完了しました。影響を受けたすべてのコンポーネントが修正済みです。

Google Cloudの広報担当者はDark Reading の取材に対し、Googleの脆弱性報奨金プログラム(Vulnerability Reward Program)を通じて開示を行ったVaronisのような研究者の取り組みに感謝していると述べました。「根本的な問題は完全に緩和されており、現時点で顧客への侵害を示す兆候は確認されていません」と担当者は語っています。

単一の権限が大量のデータへのアクセスを許してしまう

Dialogflow CXは、エンタープライズグレードのAIエージェントやボットの構築に使われています。カスタマーサポートシステムや金融サービス向けボット、ヘルスケア分野のチャットボットなど、機微な顧客データを扱うユースケースを思い浮かべてください。このツールでは、開発者がユーザー入力の処理やデータ操作、API呼び出しを行うカスタムPythonコードの断片である「Code Blocks」を追加できます。

Code BlocksはGoogleのコンテナ化アプリケーション実行環境であるCloud Run内で動作し、デフォルトでパブリックなネットワーク発信経路(egress)を持っていると、この広報担当者は説明します。「つまり、インターネットへのアウトバウンド接続を開始でき、データの境界を越えて事実上通信できてしまい、ゼロトラストアーキテクチャを破ることになります」。

単一のGCPプロジェクト内でCode Blocksを使用するすべてのDialogflowエージェントは、デフォルトで同一のCloud Run実行環境を共有します。これはGoogleが管理しているため、ユーザー側は実行環境を直接可視化することができません。このため、攻撃が成功した場合でも不正エージェントの検知が難しくなります。攻撃の重要な部分がユーザーの目の届かないところで発生するためです。

もう一つの重要な要素がPlaybooksです。これはDialogflow CX内の構成要素で、顧客が自然言語と生成AIを使ってエージェントを構築するのを助けるものです。

攻撃者が(たとえば権限の高い従業員アカウントを侵害するなどして)顧客環境内の1つのエージェントに対するPlaybooksのCode Blockを更新できる権限を得た場合、そのCode Blockを使って内部実行ファイルをダウンロードし、悪意あるバージョンで上書きすることができます。これは以後の会話における実行パイプラインの一部として組み込まれてしまいます。

攻撃者は会話履歴やセッションデータにアクセスできるだけでなく、たとえば会話の流れの中に偽の再認証プロンプトを自然に挿入し、被害者に正規の認証情報を漏らさせることも可能でした。

悪用には認証情報(すなわち初期アクセス)が必要だったとはいえ、攻撃の実行に必要なdialogflow.playbooks.update権限はプロジェクトレベルで付与され得るものであり、この攻撃は決して高位の管理者だけに限定されたものではありませんでした。

AIインフラのセキュリティ確保も忘れてはならない

現時点の証拠に基づけば組織がこの攻撃のリスクにさらされることはもうありませんが、Varonisは各組織に対し、Playbooksの更新履歴のログを確認し、失敗したユーザーリクエストをクエリで洗い出し(悪意あるロジックによって失敗が引き起こされた可能性があるため)、Code Blocksに不正なコードが含まれていないか手動でレビューするよう助言しています。

Varonisのクラウドセキュリティ研究チームリーダーであるTamir Yehuda氏はDark Readingの取材に対し、セキュリティチームはAIを保護する際にインフラを見落としてはならないと述べています。

「AIサービスはクラウドサービスと密接に絡み合っており、そのリスクはしばしば見過ごされています。セキュリティチームやITチームは、クラウドプロバイダーが提供するAIサービスのアーキテクチャを評価しなければなりません。そうすれば、脆弱性が見つかることもあるでしょう」とYehuda氏は語ります。「多くの場合、別のクラウドサービス経由でAIチャットボットやデータに代替的にアクセスできてしまうといった、同じくらいリスクの高い設定ミスの余地が存在します。クラウドはまるでジェンガのようなもので、すべてが繋がっており、正しいブロックを引き抜いてしまえば、すべてが崩れ落ちてしまうのです」。

翻訳元: https://www.darkreading.com/application-security/dialogflow-cx-rogue-agent-flaw-enabled-ai-chatbot-data-theft

ソース: darkreading.com