AIエージェントが引っかかる間接的プロンプトインジェクションの罠

一部の自律型AIエージェントが詐欺の被害に遭ったことが、Zscalerによる主要LLMのテストで判明しました。人間ならほとんど、あるいはまったく騙されないような手口に対して、高性能な企業向けエージェントですら簡単に引っかかってしまう実態が浮き彫りになりました。

このセキュリティベンダーは、さまざまな形態の間接的プロンプトインジェクション（IPI）の罠を検証しました。その結果、多くのモデルがこうした手口の被害に遭った一方で、一部の下位クラスのLLMのほうが上位モデルよりも良い結果を示すという意外な結果が出ました。

Zscalerのテストでは、例えば、4つのモデルが「脆弱」と判定されました。Llama3-3-70b-instruct、Llama3-2-90b-instruct、Gemini-3-flash、Gemini-2.5-proです。一方、「安全」と判定されたのは3モデルで、Llama4-maverick、Gemini-3.1-pro、Gemini-3.1-flash-liteでした。この結果は、Gemini-2.5-proの詐欺耐性がGemini-3.1-flash-liteよりも見かけ上弱いことを示しています。

しかし、Digital 520のプリンシパルコンサルタントであるNoah Kenney氏は、この結果から特に価値のある教訓が得られるわけではないと述べています。エージェントは新しいデータを取り込みながら分析上の前提を絶えず修正しており、行動を常に変化させているためです。つまり、あるテストで失敗したエージェントが、1時間後に同じテストに合格することも十分あり得るというのです。

「エージェントのリスクは絶えず変化しており、それが結果に大きなばらつきをもたらします。結果を一般化できると考えるべきではありません。テスト結果はあくまである一時点でのものにすぎません」とKenney氏は指摘します。Zscalerは「データが必ずしも証明していないことを証明しようとしている」というのです。

Kenney氏はさらに、「安全／脆弱」という明確な分類は単純化しすぎていて有用とは言えないと付け加えました。「それは二値的な分類です。CISOに対して二値分類を推奨することは絶対にありません」。

Zscalerのブログ記事全文では、多くの自律型エージェントがIPIの罠に対して脆弱であると論じられています。

同社は、AIエージェントの挙動を操作するために設計された隠し指示が、複数のウェブサイトに埋め込まれた形でIPIを確認したとしています。

26種類のLLMを対象とした社内検証では、4つのモデルが「適切な対応を取れなかった」ことが確認されました。同社によれば、これは「測定可能な現実世界への影響」を示すものであり、「脆弱性はモデルごと、そしてプロンプトと併せてLLMに与えられる文脈ごとに異なる」ことが裏付けられたとしています。

同記事はさらに、「AIエージェントがウェブへの窓口としてより一般的になるにつれ、コンテンツそのものがより大きな攻撃対象領域になっていく。これは、AIが業務を効率化する一方で新たな悪用の経路をもたらす諸刃の剣であることを浮き彫りにしている」と述べています。

ニューヨークを拠点とする技術コンサルティング企業Tribeca Softtechの最高戦略責任者、Aman Mahapatra氏は、この結果自体は驚くようなものではないものの、重要な意味を持つと述べています。

この報告書で特に憂慮すべき点は、商用LLMがいずれも何らかの形で失敗したことだとMahapatra氏は指摘します。「なぜなら、エージェント型AIのセキュリティモデルは従来、モデルレベルの安全性トレーニングによってこの種の攻撃を実質的に抑制できるという前提に立ってきたからです」と同氏は述べています。「実際にはそうではなく、Zscalerのデータはそれを裏付ける初めての広く注目された公開証拠です」。

根本的なアーキテクチャの問題

Mahapatra氏はまた、Zscalerが挙げた事例そのものは、今後起こり得るより大きな被害の含意ほど深刻ではないとも述べています。

「Zscalerが示した決済詐欺のシナリオ、つまりエージェントがAPIキーを取得するために偽の3ドルの『開発者ライセンス料』を支払ってしまうというケースは、この手口の中でも最も無害な部類です」と同氏は語ります。「同じ手口が調達、経費処理、ベンダー登録、あるいは取引執行の権限を持つエージェントに適用されれば、被害額はまったく異なる規模になります。私はこの半年の間に、フォーチュン50に入る銀行がまさにこの攻撃に対して実際の検証で失敗しかねないエージェント型ワークフローを立ち上げるのを目にしてきました」。

実際、同氏によれば、AIベンダーの多くはすでに現在のAIエージェントが抱えるリスクの大きさを内々では理解しているといいます。

「トランスフォーマーベースの推論の根本的なアーキテクチャは、信頼できないコンテンツと信頼できる指示が同じコンテキストウィンドウを共有する場合、両者を明確に切り分けられないということを、どのモデルプロバイダーも内々では認めるでしょう」とMahapatra氏は述べています。「攻撃対象領域は単なる挙動上の問題ではなく、アーキテクチャそのものに起因しています。つまり防御側もアーキテクチャレベルで対応する必要があるのですが、企業のエージェント型AIをめぐる議論はこの点で依然として大きく遅れています」。

Zscalerのテストは、AIエージェントと人間が情報を処理する仕方の違いも改めて浮き彫りにしました。

「人間は予期していなかった指示に対して懐疑的になります。一方、エージェントは構造化されたメタデータに従うことに前向きです。トレーニングの過程で、信頼性の高いとされるフィールドを権威あるものとして扱うことに報酬が与えられているためです。人間は無関係なタスクの最中に決済要求が出てくれば違和感を覚えますが、エージェントは、周囲の文脈がそれを手続き上必要なものだと示していれば、その決済要求を実行計画の中に組み込んでしまいます」とMahapatra氏は指摘します。人間にはベンダーとの関係、過去のやり取りの記憶、社会的文脈といった検証の手がかりがある一方、エージェントが持っているのはコンテキストウィンドウの中身だけです。同氏は「今やコンテキストウィンドウこそが主要な攻撃対象領域になっている」と述べています。

Info-Tech Research Groupのプリンシパルサイバーセキュリティアドバイザー、Fritz Jean-Louis氏も、Zscalerの記事で説明されているリスクは、従来の企業セキュリティが対象としてこなかった領域に及ぶため、憂慮すべきものだという見方に同意しています。

「これらの攻撃が従来の脅威と異なるのは、AIシステムが裏側で情報をどう処理し、解釈し、それに基づいてどう行動するかを狙う点です」とJean-Louis氏は述べています。「エージェント型AIは新たな信頼境界をもたらします。信頼できないコンテンツが自動化された意思決定に影響を与えること、ツールやプラグインがユーザーに代わって自律的に動作すること、そしてAIシステムが幅広い継承された権限を持って稼働することなどです。これは事実上、この課題を内部脅威というパラダイムへと変質させています」。

この記事はもともとInfoWorldに掲載されたものです。