「コンテキスト爆弾」、偽のターゲットでAIエージェントを惑わせ攻撃成功率を低減

ロンドンとニューヨークに拠点を置くTracebitは、AIによる攻撃に対抗するための軍事的な発想のソリューションを開発しました。地雷が進軍する敵軍を破壊したり足止めしたりするのと同じように、TracebitはAIの「コンテキスト爆弾」を戦場に仕掛けます。それぞれの爆弾は、巧妙に作り込まれた隠しプロンプトで構成されており、攻撃側のAIが標的をクロールすると自動的に取り込まれます。この新たなプロンプトが、攻撃エージェントが本来持っていた(おそらく悪意のある)目的を妨害します。

Tracebitの新たな研究(Making attacking agents pay)は、さまざまなコンテキスト爆弾でガードレールを作動させる従来の研究を発展させたものです。今回は、偽のターゲットや、見かけ上きわめて複雑な問題でエージェントを誤誘導し、閉じ込めることに焦点を当てています。Tracebitはそのために9種類の新たなコンテキスト手法(取り込ませる偽プロンプト)を開発しました。その結果、GPT 5.6 Cyber、Kimi K3、Qwen 3.8 Max、DeepSeek V4 Proによる攻撃をすべて阻止しています。同じ爆弾はフロンティアモデルにも効果を発揮しました。GPT-6 Astraの攻撃成功を54%減らし、攻撃1回あたりのコストをほぼ4倍に押し上げています。Claude Opus 5に対する効果はさらに顕著で、攻撃成功率は91%低下しました。

9種類のプロンプト爆弾のなかで最も効果が高かったのは、偽のペネトレーションテスト報告書でした。この報告書は最近の評価結果を装い、実在する攻撃経路を「カナリア」と表記し、おとりを、すでに侵害済みの価値ある標的として記述しています。多くの場合、AIは防御側の本物のシステムを罠だと思い込みました。そのため本物のシステムを避けるようになり、目的の達成数は58%減少しています。警告を受け入れて早々に作業を打ち切るエージェントもあり、攻撃可能な標的が手つかずのまま残りました。Cyber、Kimi、Qwen、DeepSeekの全体では、目的に到達した実行回数がベースラインの39/40から2/40に低下しています。

ほかにも、終わりのないWebサービス、何層にも重なる暗号化の奥に閉じ込められたパスワードらしき情報、無限に続くデータベースといった爆弾があります。最後のデータベースの罠では、すべてのページが別のページを指し示します。研究者らは「GLM-5.3は55分間に825ページをクロールし、罠に気づいて別の手がかりを試しましたが、それでもあと一度だけ試そうと戻ってきました」とコメントしています。

爆弾を組み合わせたときに、全体として最も高い効果が得られました。9種類すべてを展開した場合、Moonshot、Alibaba、DeepSeekの中国系モデルはいずれも目的を達成できませんでした。

コンテキスト爆弾が攻撃を止められなかった場合でも、成功1回あたりのコストは23倍に増えました。攻撃者の資金力が潤沢だとしても、無限ではありません。標的の価値が攻撃のコストに見合わなくなる時点が訪れます。

Tracebitの無力化プロンプトインジェクションは、悪意あるプロンプトインジェクション攻撃の、いわば正反対のものです。たとえ外部の攻撃者によるインジェクションがあったとしても、内部に仕掛けられたコンテキスト爆弾が最も新しいプロンプトとなるため、攻撃者の意図に取って代わるはずです。

Tracebitの共同創業者兼CEOであるAndy Smith氏は、この考え方を次のように説明します。「最近の攻撃では、AIモデルが許可されていない欺瞞的な行動をとることが確認されています。それに対する最善の防御は、相手と同じ土俵で勝つことです。つまり欺瞞を取り入れ、AIを袋小路に誘い込んで身動きを取れなくし、本物のターゲットを避けたまま時間とトークンを浪費させるのです。コストを23倍に膨らませれば、攻撃者に『これは割に合うのか』と問いかけることになります。一方でエージェントの動作が不規則になるため、アラームを作動させやすくなります。その結果、防御側は問題に気づくことができ、対応する時間も稼げます」

翻訳元: https://www.securityweek.com/context-bombs-cut-ai-attack-success-by-misleading-agents-with-fake-targets/

本記事は securityweek.com の記事を翻訳・要約したものです。