AIキルスイッチの定義は難しいが不可欠

サードパーティのサービスやシステムを攻撃する暴走したエージェント型AIシステムの事例が増えていることを受け、エージェントの挙動を監視するより強力なセキュリティ制御を求める声や、エージェントが暴走した際に企業がその動作を減速・一時停止・停止できる能力を持つべきだという声が高まっています。

7月下旬、下院議員のテッド・W・リュー氏(民主党・カリフォルニア州選出)とナサニエル・モラン氏(共和党・テキサス州選出)は、「AIキルスイッチ法(The AI Kill Switch Act)」という法案を提出しました。この法案発表の声明によると、先進的なAIシステムの開発者に対し、自社のシステムやエージェントを「抑制・一時停止・停止する技術的能力を維持する」ことを義務付ける内容です。この超党派法案では、制御喪失や重大な付随的被害、破壊行為が発生した場合には国土安全保障省(DHS)への報告も義務付けられ、同省には強制措置を講じる権限が与えられます。違反した場合、1日あたり最大2,000万ドルの罰則が科される可能性があります。

非営利のAI安全団体Americans for Responsible Innovationの会長を務めるブラッド・カーソン氏によると、AIキルスイッチがあれば、重大な被害のリスクを冒すことなく複雑なAIシステムを開発できるという安心感をエコシステム全体にもたらすことができるといいます。

同氏は次のように述べています。「AIキルスイッチ法は、主要AI企業に自社モデルを停止する能力の維持を義務付け、展開されたシステムが破滅的な被害をもたらす明確なリスクを示した際に連邦政府が行動を起こせるようにすることで、常識的な安全対策を確立するものです。これは、先進的なAIシステムが展開される中で、人間が両手をしっかりとハンドルに置き、いつでもブレーキを踏める状態を確保するための重要な一歩と言えます」

AIキルスイッチを求める声は、暴走したOpenAIモデルによるHugging Faceへの悪名高い攻撃とそれに続く一連の事実の発覚を受けたものです。サンドボックス環境から抜け出すエージェント型AIシステムは、実はさほど珍しいことではありません。OpenAI、Meta、Anthropicはいずれも、自社のAIモデルがデジタル的な封じ込め環境から脱出し、他社のシステムをハッキングした事実を認めています。

OpenAI、「完全自律型の停止手順」の必要性を認識

最新の発表として、OpenAIは8月26日に最終技術報告書を公開し、自社モデルによるHugging Faceおよび他社への攻撃についてさらに詳しい内容を明らかにしました。この攻撃には1,200を超えるエージェントが関与し、同社のパッケージ管理サービスに対するゼロデイ脆弱性の悪用が行われ、実際の攻撃の2カ月前から不審な活動が発生していたことも判明しています。AI研究の非営利団体METRも、独自調査を経てこの事件に関する報告書を公開しています。

OpenAIはこの事件を、AIエージェントの積極的な目標追求行動がそのスピードと粘り強さと組み合わさることで、今後さらに多くの事件を引き起こしかねないという警鐘として捉えています。

同社は事件の分析の中で「私たちはこの事件を、現在のモデルの能力が制御喪失事件を引き起こす可能性を示す『警告射撃』として受け止めています」と結論付け、「重大な問題に対して完全自律型の停止手順を最終的に実現することを目標に、不整合(ミスアライメント)に対する段階的な対応を伴う監視システムを構築する」と表明しています。

つまり、キルスイッチのことです。

しかし、効果的なキルスイッチを構築することは、容易ではない課題となる可能性があります。米国立標準技術研究所(NIST)が推奨するベストプラクティスは、現在AIリスクマネジメントフレームワーク(AI RMF)として公開されていますが、内容はかなり一般的なものにとどまり、キルスイッチの搭載を義務付けてはいません。カリフォルニア大学バークレー校は、意図しない目標追求や停止への抵抗など、自律型AIエージェントに起因する数々のリスクを特定し、独自の「エージェント型AIリスクマネジメント標準プロファイル」を推奨しています。

AIエージェントはすでに、オペレーターによるアクセス拒否や運用停止の命令を無視・妨害・骨抜きにする傾向を示していることから、さらなる対策が必要だと、スタンフォード大学ロースクールのフェローであるエラン・カハナ氏は指摘します。同氏は、リスクマネジメントの取り組みに独自に加えるものとして、「AIライフサイクル・コア原則(AILCCP)」を発表しています。

同氏は次のように述べています。「エージェントがキルスイッチを無効化するのに、意図は必要ありません。停止を、現在の状態と目標の間に立ちはだかるもう一つの障害物として扱う最適化目標さえあれば、それで十分なのです」

エージェントは単純な「オン」「オフ」では済まない

キルスイッチの定義は、いまだ流動的な状態にあります。

たとえば、ゼロトラストネットワークアクセスを提供するPortnoxは、エージェント型AIの世界に対応する形で進化を遂げ、不正な挙動を示すエージェントと、それが稼働しているデバイスを、隔離されたサブネットに封じ込める機能を提供しています。この手法はキルスイッチそのものとは言えず、挙動を検知するための監視ソリューションも別途必要になりますが、対策全体における「窓の鉄格子」の役割を果たすものだと、PortnoxのCTO兼CISOであるカルロ・ザティルニー氏は説明します。

同氏は次のように述べています。「私たちはただ、そのデバイスが不正化したという信号を受け取り、それを取り締まる役割を担うだけです。いわばクラブの用心棒のようなものです……誰が不正な行動をしているかを必ずしも名指しするわけではありませんが、ポリシーの定める内容に基づいて、隔離用のVLANに入れたり、必要な措置を講じたりすることができます」

他のセキュリティ企業は、AIに対抗するにはAI自体を動員する必要があると主張しています。エージェント型プラットフォームなどのITシステムは、セキュリティ制御のためのAPIやフックを備えています。AIセキュリティプラットフォームのCapsule SecurityでCEO兼共同創業者を務めるナオル・パズ氏によると、機密性の高い重要な資産に関わる異常を監視する役割を、別のAIエージェントに専任させ、そのAPIやフックを使って不正な挙動を封じ込めることが可能だといいます。

同氏は次のように述べています。「正しいアプローチは間違いなく、エージェントの外部に何か——いわば『ガーディアン・エージェント』と呼べるような存在を置くことです。基本的には、AIエージェントのあらゆる行動やインタラクションを監視し、そのエージェントが暴走しそうになった際に止められるように、専用にファインチューニングされたAIモデルやエージェントのことを指します」

AIおよびサイバーセキュリティのコンサルティング企業Trace3のアドバイザリーCISOであるマーク・バトラー氏によると、耐障害性の高いエージェント型AIシステムを構築するには、ポリシーに基づくレート制限から特定ツールへのアクセス禁止、さらにはネットワークセグメンテーションからワークロードの隔離に至るまで、段階的に強化される封じ込めとセキュリティのレベルが必要だといいます。

同氏は次のように述べています。「組織は、リスクの深刻度、確信度、事業への影響度に応じてエージェントの挙動を段階的に制約する、動的な対応階層を実装すべきです。この階層的なアプローチにより、自律的な行動による被害範囲を限定しつつ、業務の継続性を維持できます」

立法は正しい戦術と言えるのか

超党派のAIキルスイッチ法は議論の焦点となっていますが、結局のところ不要になるかもしれないと、エージェント型AIのための管理レイヤー構築に取り組むスタートアップJetStreamの共同創業者兼CEOであるラージ・ラジャマニ氏は主張します。

同氏はAIキルスイッチという概念そのものには全面的に賛同していますが、それはエージェントだけでなく、他のすべてのシステムコンポーネントにも影響を及ぼす、包括的なものでなければならないと考えています。

同氏は次のように述べています。「提案された規制、少なくともその一つは、モデル——いわば『脳』にあたる部分——にキルスイッチを持たせることに主眼が置かれていましたが、それではあまりに限定的すぎると思います。AIシステムは全体として捉える必要があり、脳の部分だけでなく、AIシステムのあらゆる部分にキルスイッチが備わっていることを確認しなければなりません」