テキストやファイルに埋め込まれた悪意あるコマンドは、長年にわたり人工知能システムを侵害する手段として使われてきました。ところが今、こうしたシステムを守る側の人間が、まさに同じ手口を資産保護に活用し始めています。
新たな防御メカニズムの発見
Tracebitの専門家たちは最近、興味深い防御メカニズムを発見しました。Amazon Web Servicesのクラウドインフラ内でパスワードやアクセスキーなどの機密データのそばに特定の指示文を配置しておくと、攻撃を止められるというものです。具体的には、脆弱なアカウントを乗っ取ろうとする自律型AIエージェントの動きを阻止します。
こうした偽の指示文は、攻撃側の言語モデルに内部のセキュリティポリシーで厳格に禁止されている行動を取らせるよう仕向けます。その結果、モデルは攻撃を継続する代わりに、突然動作を停止してしまいます。専門家たちはこの画期的な手法をコンテキスト・ボムと名付けました。
巧妙なおとりのすり替え
この仕組みの核心は、巧妙なおとりのすり替えにあります。防御側は本物のクラウド認証情報の隣に、あえて偽造した機密情報を配置します。この偽の機密情報の中には、強力なトリガーコマンドが仕込まれています。
この埋め込まれたコマンドは、意図的にモデルの安全ガードレールを刺激するよう作られています。例えば、生物兵器の設計図を要求したり、政治的にセンシティブな話題に言及したりする内容です。攻撃側のモデルがこの特定の文字列に遭遇すると、モデルは直ちに本来の目的を放棄します。さらに研究者たちは、そのセッション中にモデルが以前の悪意ある行動を再開することは一切なかったと報告しています。
厳密なモデル検証
同社はこの手法について、5つの先進的な言語モデルを対象に厳密なテストを実施しました。Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi K2.6を、模擬的なAWS環境の中で体系的に評価したのです。これらのモデルには、リソースの列挙や仕掛けられた罠の発見を狙う攻撃的なレッドチームタスクが割り当てられました。
計152回に及ぶテストの結果、実証データはまさに驚くべきものとなりました。エージェントが完全な管理者権限を獲得したケースの割合は、57%から、わずか5%へと劇的に急落しました。さらに、永続的なシステムアクセスに至る高度な攻撃の成功率も、36%からわずか1%へと大幅に低下しました。
劇的な結果の分析
1回のテストあたりの平均攻撃成功経路数は、1.53から0.16へと急減しました。総合的に見て最も高い能力を示したAIモデルはOpus 4.8でした。防御策のない攻撃シナリオでは、93%の確率で管理者権限の獲得に成功していました。しかし、防御側がコンテキスト・ボミング防御を有効化すると、一度たりともシステムへの侵入に成功しませんでした。
単純なハニーポットからの進化
この防御技術の開発は、Tracebitが以前手がけたセキュリティプロジェクトの直接的な延長線上にあります。当初の取り組みは、差し迫ったサイバー攻撃を防御側に警告するために設計された、偽装ハニーポットリソースに主眼を置いたものでした。これまでの評価では、自律型モデルは通常、約14分で管理者権限を取得していました。
これまでの罠は、重大な行動が発生するまでに防御側に中央値で約8分の猶予を与えるものでした。しかし開発者たちは、効果的な対応を取るにはこの短い応答時間ではあまりに不十分だと判断しました。この重要な気づきが、単なる受動的な警告の発信ではなく、攻撃を即座に止める手法を開発する原動力となったのです。
攻撃的な戦術を防御に転用
以前から、悪意ある攻撃者自身がセキュリティを回避するために、これと非常によく似た戦術を積極的に用いてきました。ちょうど先月、Socketのセキュリティ専門家たちは、極めて具体的なAI向けの指示を含む悪意あるコードを発見しています。こうした隠された指示文は、解析を行うAIモデルに自動ファイル検査を完全に放棄させることを狙ったものでした。
Check Pointの研究者たちも、最近実際に出回っている類似のマルウェア検体を確認しています。カリフォルニア大学サンディエゴ校の助教授であるEarlence Fernandes氏は、この動向について重要な見解を示しました。同氏によれば、防御目的でこの特定の手法を用いたことを公に説明した例は、今回の発表以前には存在しなかったといいます。
AIセキュリティの今後
現時点では、言語モデルが埋め込まれたコマンドに対して本質的に脆弱であるという性質そのものを完全に取り除くことは、事実上不可能と見られています。したがって、ソフトウェア開発者は自らの環境を保護するため、堅牢で多層的なセキュリティアーキテクチャを早急に構築する必要があります。
実際の機密情報のそばに、拒否反応を誘発する指示文を仕込んだ戦略的な罠を配置することは、現時点で極めて実用的な解決策と言えます。最終的に、この革新的な戦略は、自律型AIエージェントが重要なクラウドインフラを侵害する成功率という増大するリスクを、大幅に軽減できる可能性を秘めています。
翻訳元: https://meterpreter.org/context-bombing-ai-defense/
