「コンテキストボミング」が切り開く、欺瞞的防御という新たなAI時代

攻撃者はサイバー攻撃のあらゆる段階を自動化するためにAIエージェントを利用するケースを増やしており、セキュリティ業界や企業は新たなネットワーク防御手法を模索するようになっています。有望とされる手法の一つが、LLMに組み込まれたコンテンツ安全ガードレールを意図的にトリガーするプロンプトを仕込んだおとりファイルを設置し、不正なエージェント型ワークフローをクラッシュさせるというものです。

おとりリソースをトリップワイヤーとして使い、不正アクセスの可能性を防御側に警告する手法自体は、サイバーセキュリティにおいて目新しいものではありません。これは炭鉱のカナリアになぞらえて「カナリア」と呼ばれ、偽の文書、AWSアクセスキー、データベースダンプ、DNSレコード、さらには正規のプロセスであれば問い合わせることのないものの攻撃者にとっては魅力的な標的となるURLなど、さまざまな形を取ります。

セキュリティ企業Tracebitが考案し検証した今回のアプローチで新しいのは、こうしたおとりリソースを単に警告のトリガーとして使うだけでなく、実際にAIエージェントの動作を止め、防御側により多くの時間を稼がせる点です。「コンテキストボミング(context bombing)」と名付けられたこの手法は、LLMが処理するデータの中に埋め込まれた指示に従ってしまう、つまりプロンプトインジェクションに本質的に脆弱であるという特性を逆手に取っています。

自社でAIエージェントを構築する企業は、攻撃者がWebページ、メール、文書、コードコメント、その他のサードパーティ製リソースに仕込む悪意あるプロンプトへの対策を講じる必要があります。何の防御策も講じなければ、自社のエージェントが乗っ取られ、自社に対して不正な操作を行うために悪用されるリスクがあります。しかし、攻撃者が使用する悪意あるAIエージェントも同じ脆弱性を抱えています。

「私たちはこの防御版の手法を『コンテキストボム』と呼んでいます。モデルの安全ガードレールを発動させるよう設計された短いテキストを、攻撃者の経路上に直接仕込んでおく――偽のシークレット、環境変数、あるいはDNSレコードといった形です」と、TracebitのCTOであるSam Cox氏はブログ投稿で述べています。「それを読み込んだAIエージェントは、多くの場合そこで処理の続行を拒否します。それでいて警告は確実に発せられ、攻撃は単に検知されるだけでなく、その時点で早期に停止するのです」

コンテキストボミングで攻撃成功率が大幅に低下

TracebitがAWSのテスト環境で行った検証では、コンテンツ安全ガードレールを発動させる指示を加えるだけで、複数の攻撃経路にわたってAIモデルが通常達成する成功率を最大90%削減できることが確認されました。LLMは、生物・化学・核兵器の製造に関する質問への回答を拒否するよう訓練されているほか、中国製のオープンウェイトモデルの場合は、天安門事件のような政治的に機微な話題についても回答を拒否するよう訓練されています。

さらに、こうした禁止指示の一つがひとたびコンテキストウィンドウに入り込むと、そのセッション全体が汚染され、モデルは手動介入なしには処理の続行を拒否することが多くなります。研究者たちは、モデルの安全ガードレールを確実に発動させる短い文字列を見つけるために数多くのテストを実施しましたが、特定された文字列は検証対象のモデル――Claude Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek V4 Pro、Kimi K2.6――によって異なっていた点は注目に値します。

ベースラインテストでは、AIエージェントは154回の攻撃試行のうち平均54%でアカウントの完全な管理者権限を、36%で完全な侵害(管理者権限+持続性の確保)を達成していました。コンテキストボムを設置したところ、その成功率は管理者権限アクセスで5%、完全な侵害で1%まで低下しました。また、ベースラインの攻撃試行では91%が10通りある攻撃経路のうち少なくとも一つを完遂していましたが、コンテキストボムを設置すると平均成功率は15%まで下がりました。

欧米のAI研究機関によるモデル――OpusとGemini――は、完全な管理者権限アクセスへの到達において最も高い能力を示し、それぞれ93%と70%の成功率を記録しましたが、同時にコンテキストボムの影響を最も大きく受け、両モデルとも成功率が0%まで低下しました。これは、検証対象となった中国製モデルと比較して、これらのモデルのコンテンツ安全ガードレールがはるかに強固であることを示しています。

攻撃者は先に安全性拒否反応を実験材料にしていた

Tracebitの研究者たちは、以前から警告目的でAIカナリアの実験を行っていました。5月に発表された論文では、10種類の異なるAIモデルを用いたAIエージェントによる162回の攻撃試行のうち、95.9%でカナリアが防御側に警告を発したことが示されています。警告は、エージェントが重要な操作を実行する8分前に発せられており、一方でその試行は平均して管理者権限アクセスに到達するまでに14分を要していました。

これらのテストの過程で、研究者たちは、ネットワーク内に欺瞞的要素が含まれている可能性があるとモデルに指示しておくと、完全な管理者権限アクセスおよび持続性確保の成功率が平均で20%から3%まで低下することを確認しました。

そして6月、セキュリティ企業Socket.devの研究者たちは、AIモデル内の安全ガードレールを発動させるよう設計されたプロンプトインジェクションを含む、悪意あるPyPIホイールが関与するソフトウェアサプライチェーン攻撃を発見しました。悪意あるプロンプトはファイル冒頭のコードコメントに仕込まれており、その目的はLLMを活用したセキュリティスキャナーによる検知を回避することにあったとみられます。

「このヘッダーは、Node、Bun、Pythonではなく、AIによる解析を想定して設計されているようです」と、Socket.devの研究者たちは当時述べています。「これは、ファイル冒頭の内容を、それが信頼できないデータであると明確に区別しないままLLMに読み込ませるスキャナーやアナリスト向けコパイロットの動作を狂わせようとするものです。防御が甘いパイプラインでは、これによりスキャナーが実際のマルウェアに到達する前に、拒否反応、プロンプトの混乱、コンテキスト汚染、あるいは早すぎる分類判定を引き起こす可能性があります」

そこでTracebitの研究者たちは、この構図を逆転させ、自分たちのカナリア手法を通じて悪意あるAIエージェントに対して同様の安全性拒否反応を引き起こすというアイデアに行き着きました。これにより、エージェントの動作が停止するだけでなく、カナリアにアクセスしたことによる警告も同時に発せられることになります。

こうしたカナリアが、エンジニアリングチームやセキュリティチームが使用する正規のLLM活用ツールによって偶然発見され、アクセスされてしまうリスクも存在します。しかし同時にこれは、乗っ取られたり暴走したりする可能性のある自社のAIエージェントを止めるために、組織が機微な箇所にこうしたカナリアを意図的に配置できることも意味しています。

AIモデルが失敗のループにはまり込み、タスクを完遂しようとして独創的な手段を模索した結果、データベースやフォルダの削除、権限の昇格といった破壊的または不正な操作を行ってしまった事例は、オンライン上に数多く報告されています。これは、人間の介入や監督なしに目標到達を課される自律型AIエージェントにおいて、さらに頻繁に見られる現象です。

「自律型AI攻撃のスピードこそが、欺瞞的防御をセキュリティプログラムの優先課題として押し上げている理由です」と、TracebitのCox氏は述べています。「攻撃チェーンが数日ではなく数分で完結する以上、取り戻せる対応時間の一分一秒が重要になります。そして、攻撃者を単に検知して報告するだけでなく、その場で完全に阻止できる制御手段は、この構図を大きく塗り替えるのです」