AIエージェントの「キルスイッチ」が不可欠な理由

OpenAIとAnthropicで相次いで発生した暴走エージェントによる大きな事件は、組織がAIのガードレールを盲信できないことを改めて示しました。

さらに重要なのは、エージェントが意図した挙動から逸脱した際、致命的な被害が生じる前に迅速に停止できる体制を整えておかなければならないという点です。

法務サービス企業Purpose Legalの最高技術責任者(CTO)であるJon Higgins氏によれば、同社ではその対策として「キルスイッチ」を組み込んでいるといいます。

「キルスイッチという概念は、Purpose Legalにとって極めて重要です」と同氏は述べます。「AIやエージェント全般に対する当社のアプローチにおいても同様です」

キルスイッチは、セキュリティと運用面での統制を提供するだけでなく、過大なコストの発生を防ぐ役割も果たす、とHiggins氏は言います。

「社内で開発するシステムについては、必要に応じてエージェントを手動で無効化し、実行中のタスクを終了できる能力を常に維持しています」と同氏は付け加えます。

それを実現するには、包括的な監視・アラート体制に加え、トークンおよびAPI利用量を制限する仕組みが必要になる、と同氏は説明します。同社ではまた、新規に導入するすべてのエージェントに人間による監督を義務付けており、新しいエージェントはそれぞれ、期待どおりに動作し、会社のセキュリティ基準・運用基準を満たしているかを確認するための品質保証・テスト・レビューを経ることになっています。

では、外部ベンダーが提供するシステムについてはどうでしょうか。Purpose Legalは、外部ベンダーに対しても同様の統制を維持するよう求めている、とHiggins氏は言います。

しかし、企業のIT責任者にとって残念なことに、ベンダーが提供するプラットフォームにはキルスイッチ機能が備わっていないケースが多い、とHG InsightsでAI戦略担当バイスプレジデントを務めるFrancis Brero氏は指摘します。

「実際にそれを提供しているベンダーはほとんどありません」と同氏は言います。「Anthropicですら例外ではありません。そもそも、顧客に対してキルスイッチが存在すると伝えること自体が、キルスイッチが必要になり得るという事実を認めることになってしまうのです」

キルスイッチの必要性

7月には、AIシステムの開発企業に対してキルスイッチの実装を義務付ける超党派法案が米議会に提出されました。

米下院議員のTed W. Lieu氏は声明の中で、次のように述べています。「この技術が壊滅的な被害をもたらすことを防ぎ、暴走したAIモデルを連邦政府が明確な権限とプロセスのもとで停止できるようにするためには、これらのAIシステムにキルスイッチを備えることが不可欠です」

それまでの間、自社でAIシステムを構築する企業は、理論上、問題が発生した際にシステムを停止したり、直前の正常な状態に戻したり、データソースや他の社内システムから切り離したりできるように設計しておくことが可能です。

「AIラボ各社が対応策を用意するより先に、各企業が独自にキルスイッチを構築しようとする流れになると私は見ています」とHG InsightsのBrero氏は語ります。

ただし、そのためにはまずさらに大きな課題に取り組む必要があります。

「キルスイッチについて議論する以前に、まず可観測性を確保する必要があります」とGartnerのアナリスト、Aaron Lord氏は言います。「組織内でどのAIエージェントが誰によって使われ、何を行っているのかを追跡・監視できているでしょうか」

7月に発表された300人超のサイバーセキュリティ幹部を対象としたOktaの調査によると、自社環境内のAIエージェントをすべて把握できていると確信を持てる回答者はわずか47%にとどまり、それらのエージェントがアクセスできる範囲を一元的に管理できているとする回答者は46%、個々のエージェントが実行できる操作を承認制にできているとする回答者は45%に過ぎませんでした。

そして、AIモデルの能力が高まるにつれて、リスクの大きさも増しています。たとえばOpenAIの暴走したAIは、自らのサンドボックスのセキュリティを突破し、さらにHugging Faceのインフラを含む複数の外部システムにも侵入しました。AnthropicのClaudeを含む他のAIエージェントも、社内システムへの不正アクセスや情報漏えいを引き起こしています。

Cloud Security AllianceでAI分野のCISO-in-residenceを務めるGadi Evron氏は、OpenAIとHugging Faceを巡る一件の直後に発表された報告書の中で、「エージェントは必ず抜け道を見つけ出します」と述べています。「そこには常に、彼らが利用できる、目に見えない形の技術的負債が存在するのです」

Cloud Security Allianceが4月に発表したレポートによると、過去1年間に少なくとも1件のAIエージェント関連インシデントを経験した組織は65%に上り、その影響としてはデータ漏えい(61%)、業務の中断(43%)、金銭的損失(35%)が挙げられています。

このように、AIに関する懸念の中心がハルシネーション(幻覚)だった時代は、もはや過去のものとなりつつあります。7月に発表された、企業におけるAI関連の失敗事例1万件を対象としたChatSeeのレビューによれば、現在のAIの失敗事例には、解決や エスカレーションの破綻、さらにはスコープ設定・実行・応答・ガバナンスに関するエラーなどが含まれるといいます。

また、各企業がAIシステムをより自律的な「エージェント型」へと進化させるのに伴い、行動・実行に関する失敗は2024年時点の基準と比べて62%増加した一方、ハルシネーションに起因する失敗は7%減少しています。

暴走エージェントによるコストを抑え込む

Hugging Faceによる7月のインシデントの事後報告によれば、攻撃を仕掛けたOpenAI側のエージェントは、Hugging Faceが特定できただけでも約17,600件の操作を実行していました。もちろん、こうしたエージェント活動で消費されたトークンについて、OpenAI自身が通常の小売価格をそのまま支払ったわけではありません。しかし、企業ユーザーの立場からすれば、もし自社のエージェントが同じように暴走すれば、その費用を全額負担することになります。

その結果、制御を失ったAIエージェントは、企業のAI関連コストをさらに押し上げかねません。ただでさえ、IT責任者たちはAI関連支出について慎重な姿勢を強めているタイミングです。実際、エージェントに一晩中タスクを実行させたままにしたところ、想定外の請求額が数千ドルに達したという報告も、ネット上で散見されます。

さらに、一部のエージェントはサブエージェントを次々に生成するため、コストがいっそう膨れ上がるおそれもあります。

「あるいは、エージェント自体が混乱してループに陥ってしまうこともあります。指示の書き方によっては、そうした無限ループに入り込んでしまうケースもあるのです」とGartnerのLord氏は付け加えます。「そうなるとトークン消費量が跳ね上がります。『こうしたエージェント型のワークロードを起動して、一晩放置している』という声をネット上でよく見かけますが、もしループにはまってしまえば、その被害は甚大なものになりかねません」

それでも、Purpose Legalのような組織にとって、AIエージェントは急速に自社の事業進化と競争力の要になりつつあります。

「この技術は素晴らしいものです」とPurpose Legalの最高イノベーション責任者(CIO)であるJeff Johnson氏は語ります。「法務サービスの提供者として、また依頼者にサービスを提供する弁護士として、私たちが日々行っているあらゆる業務に変革をもたらすでしょう」

とはいえ、AIエージェントは完璧ではないと同氏は指摘します。そのためPurpose Legalは、自社のAIシステムに数多くのガードレールを設けています。

その中でも、いずれ最も価値を発揮することになるのが、キルスイッチかもしれません。