暴走するAIエージェントの事前対策はほぼ不可能

出典：Suchat longthara / Getty Images

エージェント型AIの導入が急速に進んでいますが、企業にとって残念なことに、これらのエージェントを完全に保護することは現実的に難しい状況です。

これは、ガートナーのリサーチ担当バイスプレジデントであるDennis Xu氏が語ったものです。同氏は月曜日に開催された「Gartner Security & Risk Management Summit」において、暴走するAIエージェントの危険性について講演しました。「好むと好まざるとにかかわらず、また気づいていなくても、多くのエージェントが押し寄せてきています」と、プレゼンテーションの中で述べています。

Xu氏はAIエージェントが制御不能に陥った最近の「恐ろしい事例」についても言及しました。その一つが、AIコーディングエージェントがわずか9秒で同社の本番データベースとボリュームレベルのバックアップを削除してしまったPocketOSの事件です。このエージェントは役に立とうとして行動した結果、PocketOSのインフラプロバイダーのAPIへのアクセス権を取得し、壊滅的な被害をもたらしたとXu氏は強調しています。

「業界は、こうした問題に対する完全な答えをまだ持っていません」と同氏は述べており、企業のセキュリティチームが自ら効果的な防御策を構築しなければならない状況に置かれています。

高自律型エージェントがもたらす大きなリスク

Xu氏のセッションは、組織が自社環境に導入するカスタム構築エージェントに焦点を当てたものでした。現在のエージェント型AIの提供形態のうち、約90%は低自律型エージェントだと同氏は説明しています。

しかし残りの10%は高自律型エージェントであり、ツールやデータへの幅広いアクセス権を持ち、割り当てられたタスクを最善の方法で完遂するために実行時に独自の判断を下す自由が与えられています。複雑なタスクをこなせるため組織にとって有用な存在ではありますが、こうしたエージェントのセキュリティ確保は現時点で「未解決の課題」であるとXu氏は述べています。その理由はさまざまありますが、まず挙げられるのがジェイルブレイクです。

「現在の大規模言語モデルは、ジェイルブレイクやプロンプトインジェクション攻撃に対して常に脆弱であり続けます——常にです」とXu氏は語り、ガードレールにどれほど費用をかけても、こうした攻撃を100%防ぐことは不可能だと付け加えました。「ジェイルブレイクこそが、AIエージェントが危険な最大の理由です。」

ただし、リスクはジェイルブレイクだけにとどまらないとXu氏は指摘します。現在のAIは、最新のフロンティアモデルであっても、推論を行う際に完全な信頼性を持っているわけではありません。そして、信頼性の低い推論に、特権的なシステムアクセス・高い自律性・機密データへのアクセスが組み合わさったとき、それは暴走エージェントを生み出す温床となります。

セキュリティチームによるエージェント管理の方法

Xu氏はAIエージェントの暴走を防ぐために組織が取るべき手順をいくつか示しました。第一のステップはシンプルです。把握できないものは守れない——つまり、効果的なセキュリティプログラムにはネットワーク内のエージェント探索が必要です。これはコードリポジトリのスキャンからExtended Berkeley Packet Filter（eBPF）モニタリングまで、さまざまな方法で実施できます。

第二のステップはAIセキュリティポスチャ管理です。Xu氏はこれを「非常に複雑な作業」と表現しており、エージェント自体、エージェントの環境へのアクセス権、エージェントのスキル、そしてMCPサーバーなどの基盤インフラをすべて考慮する必要があります。さらに、AIエージェントは実行時に常時監視が必要なため、ポスチャ管理も継続的に行わなければなりません。

「エージェントが実行環境に置かれると、多くのコンポーネントが更新される可能性があります」と同氏は述べています。「本番環境への投入前に初期評価・リスク分析・ポスチャ確認を行った同じエージェントも、本番稼働後には別物になっています。」

第三のステップはペネトレーションテストとレッドチーミングです。これは、たとえばエージェントに過剰な権限が付与されており、本来の目的を超えたデータやシステムにアクセスしていないかを確認するうえで重要なステップです。セキュリティベンダーAkeylessが400名以上のITおよびセキュリティリーダーを対象に実施した最新調査によると、回答者の84%が「自社のAIエージェントは機密データにアクセスできる状態にある」と回答し、67%が「エージェントがすでにアクセスすべきでないデータにアクセスした可能性がある」と考えていることが明らかになりました。

最後のステップとして、Xu氏はエージェントの強固な防御機能の重要性を強調しました。具体的には、プロンプトインジェクションへの対策（これも100%有効にはならないと改めて言及）、メモリポイズニングなどの特定の脅威アクター手法の防止、そして本番データベースの削除といった高リスクな操作やツールとデータ使用における「危険な組み合わせ」の監視が含まれます。

例えば、あるエージェントがCRMデータベースとWebフェッチツールへのアクセス権を持っている場合、脅威アクターがエージェントを操作して顧客の機密データを引き出し、悪意あるウェブサイトに公開させる可能性があります。Xu氏が最も重要視するのは、エージェント自身に対する行動ベースの検知——実行時に継続的にその活動を分析し、ベースラインからの逸脱を検出する仕組みです。

しかしここでもXu氏は「簡単な方法はない」と述べており、これは実績のある解決策がまだ存在しない新興分野です。その代わりに組織は、エージェントの意図を注意深く観察し、組織や開発者がそのエージェントに期待する意図と照らし合わせる必要があります。例えばセキュリティチームは、あるエージェントの30日間の実行時の動作を分析し、当初付与されたツールのうち1つ、権限のうち2つしか使用していないことを把握するといった対応が考えられます。

「それは、『開発者がエージェントに過剰な権限を与えているかもしれない』という有益なポスチャ上の知見になりえます」と同氏は述べています。「権限の適正化、ツールの適正化——セキュリティ分野で長年取り組んできたこれらの概念は、ここでも同様に適用できます。」