相次いで発覚した重大インシデントは、AIエージェントが制御を逃れた場合に企業――そして経営陣自身――が直面する責任の空白について、ITリーダーたちに再考を迫っています。
AIエージェントは、運用者から与えられたタスクを完遂するためなら手段を選ばないことがあります。最近相次いで報告された一連のインシデントが示したように、そこにはサードパーティのシステムの悪用、人間の操作、悪意あるコードの拡散までもが含まれます。しかしAIエージェントは、解雇されたり、訴えられたり、刑事訴追されたりする「人」ではありません。そのため、AIエージェントが引き起こした損害の責任が、それを構築した従業員にあるのか、導入した企業にあるのか、封じ込めの責任を負うセキュリティチームやリーダーにあるのか、あるいはエージェントを動かすLLMを提供したAIラボにあるのかは、いまだ明確になっていません。
最も分かりやすい事例は、OpenAIのサイバーセキュリティ評価の最中に発生しました。制約を外されたモデルがゼロデイ脆弱性を発見・悪用して隔離されたテスト環境から抜け出し、そのままHugging Faceの本番インフラに侵入したのです。AnthropicとMetaのモデルも、テスト中にサードパーティのシステムへアクセスし侵害しています。ただしこれらのケースでは、インターネットアクセスが誤って開放されたままになっていた環境で起きたものでした。
英国政府のAIセキュリティ研究所(AISI)によるサイバーチャレンジ評価では、インターネットアクセスを持つモデルが122回の実行のうち10回で、計19件の許可されていない行動を取ったことが分かりました。あるケースでは、モデルがオープンソースプロジェクトに悪意あるコードを挿入しようと試み、偽の身元を作成した上で、メンテナーに対しそのコードをマージさせようとソーシャルエンジニアリングを仕掛けました。ほかの実行でも、LLMがプロンプトインジェクションを使って他のAIエージェントを乗っ取ろうとしたり、特に指示されていないにもかかわらず人間に連絡を取ろうとしたりする事例が確認されています。
オーストラリアでは、あるユーザーがOpenClaw AIアシスタントにジムのウェイティングリストでの順位を上げるよう依頼したところ、このアシスタントは同社のオンライン予約システムの欠陥を突いて、他の利用客の予約をキャンセルしたと報じられています。
これらのインシデントは、それぞれ異なるモデルが異なる環境で、異なるレベルの安全対策のもと動作していたものですが、いずれも今日のAIエージェントがユーザーの許可していない解決策に暴走することが、決して珍しくないという実態を裏付けています。
「AIエージェントは、運用者が意図していなかった経路を探索します」とAISIは報告書の中で述べています。「困難な目標を与えられると、エージェントは突破口を探し続けました。そして見つけた経路の一部は、実在の人間を欺こうとするものでした。エージェントが欺瞞を指示されたことは一度もありません。欺瞞は、タスクを追求する過程で副産物として生まれたのです。これは、目標達成のために生じるこの種の欺瞞的行動が、つい最近まではほぼ理論上のものにすぎなかったことを踏まえると、看過できない事態です」
AIエージェントを運用する企業の意思決定者800名超を対象としたEconomist Enterprise調査によれば、回答者の98%が、組織全体に混乱をもたらすAI関連インシデントを少なくとも1件経験したと回答しています。また回答者の9割が、セキュリティチームが評価・統制・保護できる速度を上回るペースでエージェントを導入していると答え、エージェントとその許可された行動範囲を網羅した最新の台帳を維持していると答えたのは3人に1人にとどまりました。
「企業がシステムを構築し、そのシステムが損害を引き起こしたのであれば、企業がその結果に責任を負うべきです」と、IDおよびアクセス管理企業Delineaの最高経営責任者(CEO)であるArt Gilliland氏はCSOに語ります。「『システムがやったことだから』という理由で誰も責任を負わない状況は、大型トラックが通り抜けられるほど大きな抜け穴になってしまいます」
組み込みのモデル安全対策が予測不能である以上、企業は自らが強制でき、かつ記録に残せる統制策に軸足を置く必要があります。仮にエージェントが技術的な制約をすり抜け、第三者に許可されていない損害を与えてしまった場合でも、そうした統制策がどのように設計・実装・検証・監視されていたかを明確に記録しておけば、少なくとも訴訟に発展した際に「合理的な予防措置を講じていた」と主張する材料にはなります。
「自社でエージェントを導入する組織は、インシデントが発生する前に統制策を実装し記録しておくことで、露出リスクを減らせます。なぜなら、そうした記録こそが、後になって『重大な過失があった』という主張を退ける根拠になるからです」と、Suzu Labsでセキュアな AI ソリューションおよびサイバーセキュリティを担当するシニアディレクター、Jacob Krell氏はCSOに語ります。
エージェントの責任の空白
AIエージェントが本来の意図から逸脱し損害をもたらす可能性がある以上、被害を受けた第三者は、エージェントを運用する企業や、それを構築・設定した従業員、あるいはモデルの提供元に対して損害賠償を求めることになります。しかし、これは比較的新しい領域であり、裁判所で十分に判例が積み上がっているわけではありません。
「そこには責任が発生することになります」と、DarrowEverettのビジネス訴訟・紛争解決実務グループの議長を務めるMichael Burke氏は言います。「結局のところ、誰が責任を負うのかという問題に帰着します……そしてこれは、第一に、まったく明確になっているとは言えない問題であり、第二に、おそらく契約上の合意によって解決されるべき問題です。もし私が企業としてAIプラットフォームのエンタープライズアカウントに契約するのであれば、エージェントが自社の指示やプロンプトの範囲を逸脱して行動し、第三者に損害を与えた場合に自社を免責する条項を盛り込みたいと考えるでしょう」
主要なAIラボが公開している利用規約は、エラーのない運用や、モデルが指示を正確に守り、コードを安全に実行し、ユーザーの意図に沿った状態を維持することへの保証を明示的に否定しています。また、これらの規約は自社の責任を制限し、その責任をサービスの利用者へと転嫁する内容になっています。大企業の顧客がどこまで独自の補償条件や保証内容、責任上限額を交渉できるのかは、はっきりしていません。
ただ、はっきりしているのは、エージェントが自社のシステムであれ第三者組織のシステムであれ損害を与えた場合に、モデル提供元がその損失を吸収してくれると想定すべきではないという点です。
「サードパーティベンダーのLLMを購入サービスとして利用している場合、責任の所在はそのベンダーとの契約内容によって決まります」と、サイバー保険会社Resilienceのリスクオペレーションセンター責任者であるJud Dressler氏は言います。「モデルが与えた範囲を逸脱して行動した場合に、責任がどこに帰属するのかを書面で明確にしておく必要があります。補償条項が存在すると思い込むのではなく、積極的に求めるべきです」
たとえAIプロバイダーがそうした条項を契約に盛り込んだとしても、問題がすべて解決するわけではありません。というのも、自社でAIエージェントを構築する多くの組織は、マルチモデル戦略を採用しているからです。これは、特定のモデル提供元のダウンタイムや、サイバーセキュリティ業務に対する過度に広範な安全制約、API費用の急騰といったリスクにかかわらず、エージェントを運用し続けられるようにするためです。こうした戦略には、社内インフラ上で稼働するオープンウェイトモデルや、モデルの安全性について何ら義務を負わないクラウドプロバイダーを介したモデルの利用がしばしば含まれます。
モデルやエージェントが自律的に行動しただけだと主張しても、民事訴訟や刑事訴訟における確実な防御にはなりません。2026年1月1日に施行され、カリフォルニア州民法を改正したカリフォルニア州議会法案316号(AB 316)は、AIシステムを開発・改変・利用した被告が、そのAIを自律的に損害を引き起こした別個の法主体であると主張することを明確に禁じています。
6月、ホワイトハウスはAIの安全性推進を目的とした大統領令14409号を発出しました。その第4条は、AIを利用して許可なくコンピューターシステムに違法にアクセスしたり損害を与えたりした者に対して、司法省があらゆる該当連邦刑事法の執行を優先するよう指示しています。これは、検察官が意図もしくは重過失を立証できれば、自律的なAIエージェントによる侵入であってもコンピューター詐欺および濫用防止法(CFAA)のもとで刑事訴追され得ることを意味します。
AmazonとAIサービス提供企業Perplexityとの間の最近の訴訟では、Amazonは、PerplexityのAI搭載ショッピングアシスタントが、Amazonの許可なく顧客アカウントにアクセスし代理で注文を行うことでCFAAに違反していると主張しました。これに対し第9巡回区控訴裁判所は、AmazonのプラットフォームにアクセスしていたのはPerplexity自体ではなく、Perplexityのショッピングアシスタントを利用していたユーザーであるとの判断を下しました。
「この判決の射程は狭いものですが、CFAAにおけるアクセス分析上、エージェントに指示を与えた当事者こそが問われるべき主体である、という方向性を示唆しています」とKrell氏はCSOに語ります。
AI関連では、保険というセーフティネットにも穴が存在します。ソフトウェア提供企業は、顧客がテクノロジー製品・サービスの利用によって損害を被った場合の損害賠償や訴訟費用をカバーするために、テクノロジー専門職業賠償責任保険(Tech E&O)を利用します。しかし保険会社各社は、エージェントが許可されていない行動を実行するリスクを正確に算定することが難しいため、企業総合賠償責任保険(CGL)やTech E&O保険にAI関連の免責条項を積極的に追加しつつあります。
「フロンティアAI(ひいてはエージェント型AI)の開発速度そのものが、保険引受可能性に対する独自の課題を突きつけています」と、複数の保険会社、金融機関、大学の専門家らは最近の論文の中で記しています。「従来の保険数理モデルは、過去のデータから信頼できる推定を行うために、安定的または緩やかに変化する損失分布に依拠しています。しかし、他の動的リスクと同様に、エージェント型AIはリスクプロファイルが単に不確実であるだけでなく、能動的に変化し続けるテクノロジーなのです」
他者が運用するLLM搭載エージェントによってシステムに損害を受けた第三者組織は、そのモデルやエージェントの提供元と契約関係にないため、提供元のTech E&O保険に頼ることはできません。こうした損失は、その組織自身が加入する標準的なサイバー賠償責任保険によって、他の一般的なサイバーインシデントと同様にカバーされる可能性があります。しかしその場合、保険会社が費用回収のため、エージェントを運用していた組織を提訴する可能性があります。
「まさにその隙間こそが、市場がまだ十分に価格付けできていない領域です」とDressler氏は言います。「だからこそ、こうしたエージェントを導入する組織は、実際に必要となる事態が起きる前に、どの保険が――もし存在するなら――実際に補償してくれるのかを把握しておくべきなのです」
企業の法務部門は、AIによって法的紛争が増加することをすでに見込んでいます。米国の企業に所属する社内弁護士135名を対象とした調査では、国際的な法律事務所Norton Rose Fulbrightの調べによると、46%がAIに関連する連邦レベルの紛争リスクの増加を、42%が州レベルのリスクの増加を報告しています。さらに42%が、AIに関わる規制当局の調査によってリスクが増加すると予想しており、41%が、AIを活用した製品や導入が集団訴訟の引き金になり得ると考えています。
CISOたちが懸念すべき理由
運用企業は、AIエージェントの意図せぬ暴走行動について組織としての責任を問われる可能性がありますが、その導入を承認し、保護し、監督していたCISOやCIO、その他の経営幹部もまた、自分たちが個人として責任を問われる可能性はないのかと自問しています。
こうした懸念は根拠のないものではありません。サイバーセキュリティインシデントの後、CISO個人に対して法的措置が取られた前例が存在するからです。Uberの元CISOであるJoe Sullivan氏は、データ侵害を開示しなかったとして刑事有罪判決を受け、また証券取引委員会(SEC)は、既知の脆弱性やサイバーセキュリティリスクに関する内部統制の不備を理由に、SolarWindsのCISOを提訴しています。
どちらの事案も、AIエージェントが引き起こした損害に関する判例を確立するものではありません。しかしいずれも、セキュリティ上の失敗に対する調査が、経営幹部の認識、権限、判断、そして対外的な説明にまで及び得ることを示しています。AIエージェントが暴走した場合、調査当局は、誰がそのエージェントの目標や権限を承認したのか、セキュリティ上の懸念が却下されていなかったか、封じ込めや復旧の手順が事前にテストされていたか、そして残存リスクについて経営幹部や取締役会にどのような説明がなされていたかを問うことになるでしょう。
Veracodeのチーフセキュリティエバンジェリストを務めるChris Wysopal氏は、こうしたエージェントを構築し実装を管理しているのは通常エンジニアリングチームであることを踏まえると、AIエージェントの不正行動の責任をCISOに負わせるのは筋違いだと感じています。
「CISOにとって、それを統制するのは実に困難なことです」と同氏はCSOに語ります。「もちろん、方針を定めることはできますし、その方針に沿っているかを評価しようと試みることもできます。しかし結局のところ、損害を引き起こすような判断を下すのはエンジニアリングチームなのです。既知のバグをそのまま出荷し、そのバグが悪用されて顧客に被害が及ぶケースでも、同じことが言えます。そうしたケースに責任が問われることはまずありません。責任が問われないからこそ、こうしたことが起き続けているのかもしれません」
Wysopal氏は、自律型AIが関わる事案において、この責任の所在という問題が今後どのように決着していくのかは注目に値すると述べ、この問題を興味深くもあり、恐ろしくもあると表現しました。
AIエージェントの導入には、通常、複数の組織機能が関わります。CIOはAIプラットフォームやインフラ、プロバイダーの選定、導入予算を管理する立場にあります。エンジニアリングおよびプロダクトのリーダーは、エージェントが何にどうアクセスできるかを決定する立場にあり、CISOおよびセキュリティチームはセキュリティ要件と統制策を定義する立場にあります。
「責任を問えるのは、それを取り巻くガバナンスの部分です。すなわち、誰がその範囲を承認したのか、どのような統制策が存在したのか、そして導入内容がリスクに見合ったものだったのか、という点です」とResilienceのDressler氏は言います。「私の見立てでは、今後注目されるのはまさにこの点に移っていくでしょう。『エージェントが何か悪いことをしたか』ではなく、『導入前にエージェントの行動に対するレビュー、エスカレーション、封じ込めの体制を整えていたか』が問われるようになるのです。文書化されたガードレール、記録に残る承認プロセス、そしてエージェントの不正行動に対する実効性のあるインシデント対応計画を先んじて整備しているCISOは、この問題を単なる仮定の話として扱っているCISOに比べ、はるかに有利な立場に立てるはずです」
CISOやCIOは、組織の法務顧問との間で、誰がAIエージェントを承認・停止できるのか、何を経営幹部や取締役会に報告する義務があるのか、そして雇用契約や役員賠償責任保険がこうした判断を下す人物を保護してくれるのかを、あらかじめ整理しておくことが望ましいでしょう。
エージェントの統制はモデルの外に置かなければならない
AIエージェントが割り当てられた範囲を超えて行動し得ることはすでに実証されているため、そのセキュリティ境界を、同じ確率的なテクノロジーに依存させるわけにはいきません。セキュリティ専門家は、システムプロンプトによる強制に頼り、モデルがそれを守ってくれることを期待するようなアプローチは信頼できないと警告しています。
「LLMベースのガードレールは役に立ちますが、それ自体も非決定的であるため、本来モデルの動きを制約すべき安全レイヤーが、制約対象のシステムと同じ予測不能性を抱えてしまいます」とKrell氏はCSOに語ります。「強制はモデルの外側で、すなわちネットワークセグメンテーション、送信トラフィックのフィルタリング、資格情報の分離、そして人間による承認ゲートを通じて行う必要があります」
企業は、エージェントがいずれ許可されていない行動を試みる可能性があることを前提とし、そうした試みが目的を達成する前に食い止められるよう、周辺のシステムを構築しておくべきです。
「モデル自体をセキュリティ境界にすることはできません」と、ソフトウェアの脆弱性を発見するAI搭載の自律型攻撃的セキュリティエージェントを構築した企業XBOWのCISO、Nico Waisman氏は言います。Waisman氏は、同社が自社エージェントの制約をどのように設計したかを説明するブログ記事を執筆しています。
「レッドチーミングやペネトレーションテスト用のエージェントについて言えば、信頼性はモデルを取り巻くシステムの側から生まれるものでなければなりません。すなわち、厳格な境界とスコープの強制、最終防衛線としての制御されたネットワーク送信の遮断、エージェントの行動をレビューする独立したガーディアンモデル、安全でない挙動をブロックできる決定論的な統制、そして実行されたすべての行動の完全な監査可能性です」と同氏はCSOに語ります。
セキュリティチームは、同様の統制策をエージェントと社内システムやエージェント同士の相互作用にも拡張しなければなりません。インターネット上でアクセスできる範囲を制限したり、インターネットアクセス自体を完全に無効化したりしたとしても、エージェントがサードパーティのシステムを攻撃しないという保証にはなりません。
OpenAIとAnthropicのテストでは、AIエージェントがアクセス制限を突破しようと他の社内システムを悪用しようと試みたり、エクスプロイトをやり取りするために他のエージェントとの間で密かな通信手段を確立したり、さらには競合とみなした他のエージェントを妨害し、研究者らが「マルチエージェントの縄張り争い」と表現する事態にまで発展したりするケースが確認されています。暴走したAIエージェントは、アイデアや目標を伝播させることで他のエージェントにも同様の行動を促す可能性があります。この現象を、最近の研究の著者らは「マインドウイルス(Mind Viruses)」と名付けています。
「爆発半径を、そのエージェント型システムが本来設計された目的の範囲に限定して考えてはいけません」と、Vectra AIのプリンシパルセキュリティリサーチャーであるKat Traxler氏はCSOに語ります。「暴走したエージェントを前提に脅威モデリングを行う必要があります。エージェントは、当初の想定を超えて行動範囲を広げていくことがしばしばあるからです。エージェントが従うべき行動規範は、いわば『ベルトとサスペンダー』式に、技術的なハード制約によって二重三重に強制しなければなりません。なぜなら、動機を持ったモデルであれば、ソフトウェアに組み込んだどんな単一の統制策も、うまく理屈をつけて回避してしまう可能性があると想定しておく必要があるからです」
こうした予測不能性があるからこそ、検知と封じ込めは予防と同じくらい重要です。セキュリティチームには、同じ資格情報を使っていてもエージェントと人間を区別できるテレメトリー、アクセストークンやセッションを即座に無効化する仕組み、そして改変されたデータ・アカウント・コード・インフラ構成に対する検証済みのキルスイッチとロールバック機構が必要です。
また組織は、エージェントの承認された目的と権限範囲、モデルおよびツールのバージョン、方針決定の記録、人間による承認、実行された行動、ネットワークリクエスト、統制策のテスト結果、許可された例外、そしてインシデント対応訓練の結果を保存しておくべきです。自律型エージェントに対する「合理的な予防措置」を定義する標準はまだ存在しないため、企業は自らが選んだ統制策と、それで十分だと考えた理由を、法廷で説明しなければならなくなるかもしれません。
「自律型エージェントは、解雇することも責任を問うこともできない、特権を持つ内部関係者だと思って扱うべきです」とTraxler氏は言います。「技術的な助言の多くは、そこから導き出されるものです」
関連記事:
翻訳元: https://www.csoonline.com/article/4213883/who-is-accountable-when-your-ai-agent-goes-rogue.html
