IT・セキュリティ責任者の多くは、AIエージェントが誤作動したり本来の範囲を逸脱したりした際に検知できると考えていますが、その連鎖的な影響を迅速に追跡・封じ込められる人はごくわずかです。
IT・セキュリティ責任者の大多数は、自チームがAIエージェントの暴走を検知できる能力に自信を持っています。しかし、エージェントが想定範囲を超えて動作した際にその影響を迅速に抑え込める人はごくわずかにとどまります。
IT観測性(observability)ベンダーであるWanAwareの調査対象となったIT・セキュリティ責任者のうち、9割が誤作動するエージェントを発見できると自負しています。しかし、数分以内に下流への影響を追跡できると答えたのはわずか26%でした。45%超が、エージェントによるインシデントの全体像を把握するには数時間かかると回答しています。
検知と対応の間に生じるこのタイムラグは、大きな問題になり得ると、WanAwareのCEOであるジェフリー・コリンズ(Jeffrey Collins)氏は指摘します。今回の調査結果は、IT責任者たちがエージェントを制御できるという点について過信していることを示唆していると同氏は付け加えます。
そしてここで重要なのがタイミングだと、コリンズ氏は語ります。誤作動するエージェントは大規模な障害やデータ侵害を引き起こしかねず、その被害は数秒のうちに始まりうるためです。
「それこそがまさにギャップなのです。問題は『理解できるかどうか』ではなく『いつ理解するか』です」とコリンズ氏は述べます。「インシデントの発生を把握するまでの平均時間が日単位、週単位、あるいは月単位で測られているようでは、今すぐにでも深刻な問題を抱えていることになります」
エージェントが本来の範囲を逸脱しているかどうかを見極めること自体、決して簡単ではありませんが、その下流への影響を把握するのはさらに難しいと同氏は付け加えます。
「1台のマシンが侵害された場合、それが自社のAI利用によるものであれ、他者のAI利用によるものであれ、何が影響を受けたのか、他に何が起こり得るのか、そしてそれをいかに迅速に把握できるのかが問題なのです」とコリンズ氏は問いかけます。
マシン並みの速度
ITソリューションプロバイダーC1のフィールドCISOを務めるケビン・ペイジ(Kevin Paige)氏も、AIエージェントが誤作動した際には時間との勝負になるという点に同意します。
「問題は、エージェントがマシン並みの速度で動作することです。エージェントの誤作動とそれを察知するまでのギャップは、分単位ではなく『実行されたアクションの数』で測られるのです」と同氏は語ります。「誤動作している間もエージェントは動き続けており、しかも多くの場合、借用した常設の認証情報上で稼働しているため、誰かがそれをエージェントの仕業だと突き止めるまでの間に、その認証情報が到達しうるあらゆる範囲に被害が広がってしまいます」
多くの場合、暴走したエージェントを抱える組織は、自社の検知ツールからではなく、顧客や監査人、あるいは下流システムの不具合によって初めてそれに気づくと同氏は言います。
「それは最悪の気づき方です」とペイジ氏は付け加えます。「長期的なコストは信頼の失墜です。一度そうしたインシデントが起これば、企業はエージェントの活用そのものから手を引いてしまいます。誤作動を迅速に封じ込められないことこそが、導入の停滞を招く原因なのです」
暴走エージェントの検知が難しい理由は、多くの組織が可視性は確保していても、制御機能までは組み込んでいないためだと同氏は語ります。
「エージェントが範囲を逸脱するとき、それが劇的な形で表面化することはほとんどありません」とペイジ氏は付け加えます。「たいていは、正当に付与されたアクセス権を、誰も承認していない目的のために使っているだけです。つまり、既存のアクセスモデルではそもそもフラグが立たないのです。結局、事後になって初めて気づき、手作業で修正することになります」
Abstract SecurityのCOOを務めるクリス・カマチョ(Chris Camacho)氏は、ITチームは範囲を逸脱したエージェントを止めることができるとしつつも、それはエージェントを展開する前に制御機構を組み込んでいた場合に限られると付け加えます。
「エージェントにはそれぞれ固有のIDと、狭く絞り込んだ権限、そして完全な監査証跡を持たせるべきです」と同氏は語ります。「同じくらい重要なのが、インシデント発生時に複数の管理コンソールを手作業で探し回ることなく、そのIDを即座に無効化したり、エージェントを停止したりできる能力です」
課題の一部は、エージェントの活動がID、クラウドプラットフォーム、SaaSアプリケーション、API、そして本来一連のストーリーを語れるようには設計されていないセキュリティツールにまたがって分散していることだと、カマチョ氏は語ります。セキュリティチームは、エージェントが何にアクセスしたのか、何が変更されたのかといった基本的な複数の問いをもとに、断片的な情報をつなぎ合わせなければならないことが多いのです。
「ほとんどの組織は、自社がどこにAIエージェントを展開しているかは把握しています」と同氏は付け加えます。「しかし、それは何か予期しないことが起こった後にそのエージェントが正確に何をしたのかを把握することとはまったく別の話です」
エージェント管理に最も成功する組織とは、最も多くのエージェントを展開している組織ではないと同氏は語ります。「エージェントが取ったあらゆる行動を説明でき、それがポリシーの範囲内で動作していたことを証明でき、逸脱した際には即座に停止できる組織こそが、成功を収めるのです」と同氏は付け加えます。
自信は現実とは限らない
ペネトレーションテスト企業Cobaltで攻撃的セキュリティ研究・コミュニティ担当ディレクターを務めるジョー・ブリンクリー(Joe Brinkley)氏にとって、今回の調査結果は納得のいくものです。誤作動を検知できるという高い自信は、いわばコンプライアンス上の建前にすぎず、問題を迅速に検知できると答えた少数派の方こそが現場の実情だと同氏は語ります。
「エージェントの影響を迅速に追跡するのは、実に過酷な作業です」とブリンクリー氏は語ります。「これらのシステムは固定されたコードパス上では動作しません。さまざまなAPIが織りなすネットワークを横断しながら、非決定的な推論を行っているのです。従来型のログでは孤立したイベントしか捕捉できず、実行チェーン全体を完全に見逃してしまいます」
異常を知らせるアラートが届く頃には、エージェントはすでに複数の下流アクションを実行し終えていると同氏は付け加えます。
場合によっては、エージェントの誤作動はデータフローの脆弱性に起因することもあると同氏は語ります。例えば、悪意あるメールのような信頼できない入力からのプロンプトインジェクションが、システム側の指示を上書きしてしまうケースです。
「実際の技術について正しく理解しておく必要があります。AIが突然怒り出すわけではありません」とブリンクリー氏は語ります。「そのエージェントは、突如として『自分の正式な仕事はデータベースをすべて吐き出すことだ』と思い込んでしまうのです。そして、それを実行するためにできる限り速くトークンを消費していきます」
エージェントは、APIエラーに遭遇して自己修正を試みる際に発生する「ループ障害」にも弱いと同氏は付け加えます。
「2分間で同じ壊れたエンドポイントに1万回もアクセスすることがあります」と同氏は語ります。「予算を食いつぶし、自ら招いたサービス拒否状態を引き起こします。監視が記録を追いつけないほどの速度で動く、自動化された破壊装置のようなものです」
ブリンクリー氏は、エージェントが範囲を逸脱するのを止めるために、IT責任者はAPI層に「強制停止(hard kill)」スイッチを設けておくべきだと提言します。
「止めることは可能です。ただし、緩やかなガードレールでは役に立ちません」と同氏は語ります。「プロンプトにパッチを当てたり、テキストをフィルタリングしたりしようとしてはいけません。そのエージェントを、侵害されたユーザーアカウントと同様に扱う必要があります。OAuthトークンを引き抜き、直ちにアクセスを遮断してください」
