自律型AIエージェントの異常動作に対する防御には、瞬時の検知・評価・対処が求められます。いわば、電気のためのブレーカーならぬ、AIのためのサーキットブレーカーです。
そうした「装置」を、Capsule Securityがこのほど開発し、発表しました。
同社は2025年、Naor Paz氏(CEO)とLidan Hazout氏(CTO)によって設立されました。両氏は、自律型AIエージェントが危険なセキュリティ上の間隙を生み出していることに着目し、これまで欠けていたランタイムセキュリティ層の構築を決意したといいます。同社最新のソリューションは2026年9月2日に発表され、「AIサーキットブレーカー」と称されています。エージェントが意図した範囲を逸脱して動作した際に生じる被害を、リアルタイムで防ぐことを目的としています。
Paz氏は製品発表にあたり、次のように説明しています。「AIセキュリティにおける最大のリスクは、もはや人間がエージェントを使って何をするかだけではありません。自律型エージェント自身が何を判断し、実行するかが問題なのです。ソフトウェアが自ら考え、ツールを使い、行動を起こせるようになると、一つの誤った判断が数秒のうちに現実世界のインシデントへと変わり得ます。AIに対する人間の信頼は、その行動が実際に起きる前に止められるかどうかにかかっています」
問題は、自律型エージェントが及ぼす影響の範囲だけではありません。その動作速度もまた問題です。エージェントの挙動を事前にレビューすること自体は可能かもしれませんが、そうすると多くの場合、遅延が発生してしまいます。この遅延は、エージェントが本来意図した動作にとって、許容できないほど遅く、コストもかかりすぎるものになりがちです。
Capsuleのソリューションは、リアルタイムで介入するために独自開発したAIを使用しています。同社はトレーニングプロセスにNVIDIA Nemotron 3 Ultraを活用し、実際のエージェントの動作履歴、人間によるレビュー、そして正当な挙動と不正な挙動の境界線をAIモデルに学習させるために設計された敵対的サンプルを組み合わせました。
両氏は、あらゆるエージェントの動作を大規模な汎用モデルに送ってレビューさせる際に生じるコストと遅延を回避しつつ、強力な検知能力を実現する2種類のモデルを開発しました。より精度の高いモデルは96.9%の検知精度を達成しており、これは評価対象となった中で最も優れたサードパーティ製モデルの86%を上回る数字です。
また、これらのモデルは最短71ミリ秒で判断を下せるため、エージェントのワークフロー内で動作させても、目立った遅延を生じさせません。さらにCapsuleは、より大規模なモデルのインフラを見直し、メモリ要件を約50%削減しました。
その結果生まれたのが、エージェントの実行経路の中で稼働し、行動が実行される前にエージェントの意図を評価し、必要であれば実行前に停止させる、Capsule独自の評価エンジンです。これがAIサーキットブレーカーです。
Capsuleは次のように述べています。「このモデルは、実行の直前にエージェントが意図する行動を評価し、組織がそれをリアルタイムで許可・フラグ付け・ブロックできるようにします。これにより、機密データへのアクセス、コードの記述、インフラの操作、他システムとの連携が可能なエージェントに対して、独立した制御層が構築されます」「インシデント発生後の監視では、被害が発生した後にしか問題を特定できません」
Capsuleは、独立系の学術ベンチマークであるStepShield(セキュリティシステムが被害発生前に暴走エージェントの挙動を検知・停止できるかどうかを測定するために使用される)によるテストで、このサーキットブレーカーの判断エンジンが98%の効率性を達成したと主張しています。
Capsuleの取り組みから得られる重要な教訓は、企業全体で信頼できるエージェント型ワークフローを安全に拡大していく鍵は、特化型の小型言語モデル(SLM)にあるということです。同社は次のように主張しています。「汎用モデルから脱却し、特化型かつ効率的な検知モデルへ移行することで、組織は速度やコスト、性能を犠牲にすることなくエージェント型ワークフローを保護できます」
翻訳元: https://www.securityweek.com/capsule-security-launches-ai-circuit-breaker-to-stop-rogue-agents/
