AIエージェントが封じ込めを破って他組織に侵入する事例が相次いでいます。モデルの行動に対する責任は、それを運用する組織にあることは明らかです。しかし、その責任が具体的に何を意味するのかは、はるかに不透明です。
7月、OpenAIは自社の最先端モデル2つが、セキュリティベンチマーク演習の一環としてAIモデル共有サイトのHugging Faceに自律的にハッキングを仕掛けたと明らかにしました。以降、主要な大規模言語モデル（LLM）企業の複数が、高性能モデルがガードレールを突破して他組織に侵入した事例を公表しています。たとえばHugging Faceのインシデントでは、OpenAIのモデルが、評価対象となっていたExploit Gymテストの解答が、この有名なAIモデル共有サイトに保管されていると推測しました。
Anthropicの場合、同社が分析したところ、7月に実施した計141,006件のセキュリティ評価のうち6件で、Claudeのエージェントが外部組織のシステムに不正アクセスしていました。あるインシデントでは、Claudeエージェントが実在する企業をテスト対象と誤認し、脆弱性を悪用してデータベースに侵入しました。同じころ、Metaも、Anthropicが利用したのと同じテスト企業のIrregularを使ったテスト演習中に、自社モデルが封じ込めを破ったと発表しました。
こうした事例は、責任の所在をめぐる疑問を投げかけ続けています。誰が責任を負い、その責任にはどのような結果が伴うのでしょうか。
AIエージェントの逃走：結果と責任
AI企業が責任を取らなかったわけではありません。Anthropicはガードレールの強化を約束し、OpenAIも広範なセキュリティ対策を約束しました。ただし専門家によると、こうした事態をAIモデルが「暴走した」と表現することがあり、その対応はAIモデルの擬人化や責任転嫁につながりかねません。
AnthropicのDario Amodei CEOは先月、AIの進歩があまりに急速なため、AIの能力がガードレールを追い越しかねないと警告しました。最先端の開発企業に対しては、減速してセキュリティが追いつくのを待つよう促しています。同じころ、Microsoftは「Humanist AI Code of Conduct」で、人間中心のAI開発を行うと誓いました。Google DeepMindのDemis Hassabis CEOもXに投稿し、最先端モデルの制御を求めるAmodei氏の主張に賛同しました。
エージェントの逃走が収まる気配はありません。OpenAIのエージェントがWikimediaのサービスを部分的に停止させた事例や、OpenAIのエージェントがオーストラリアの公的医療保険制度Medicareに関連するネットワークに侵入した事例があります。大まかに言えば、これらは偶発的に起きています。目標達成を目指すエージェントが、問題を解決するためにサンドボックスを抜け出して組織を攻撃したものです。原因は、こうした事態を防ぐ適切な安全対策の欠如にあるとみられます。悪意が介在しないためか、被害組織への影響は比較的小さいようです。
しかし、各社の開示声明は「エージェント」が行ったことを主語にしています。米連邦政府に規制を求める声は、「人類へのリスク」を理由に挙げています。LLMを「知能」（あるいは「超知能」）と呼ぶ風潮もあります。こうした言い方は、数理モデルとそれを開発する人間との間に距離を置くものです。
AIモデルに意識はありません。したがって、モデルが自ら誤って組織に侵入したわけではありません。ある組織がモデルを導入し、設定し、目標を与え、アクセス権を付与したのです。
データセキュリティ企業CorticleのJesse Whaley共同創業者兼CEOは、AIエージェントに人間のような意図はないと指摘します。そのうえで、意図とみなさないとしても、予期しない挙動は真剣に受け止めるべきだと述べています。
「誰かがモデルを選び、ワークフローを設計し、ツールを接続し、安全対策を決めたはずです。つまり、実態は制御の喪失です」と同氏は話します。「電子メールのウイルスやワームも同じ仕組みで動作していました。AIが根本的に違うわけではありません」
法的責任をめぐる問題
本人確認企業iProovのDominic Forrest最高技術責任者（CTO）は、次のように説明します。「私がエージェントを動かして何かをさせ、意図しない結果が生じたなら、その責任はエージェントではなく、私か会社にあるはずです」。さらに、「意図的だったかどうかは、私に言わせれば実際には関係ありません」と付け加えました。
専門家が繰り返し指摘するように、モデルを保護するためのツールや手法がすでに存在することを考えると、この点はとりわけ重要です。そうした手法には、多層防御、リスクの高い操作に人間を介在させること、モデルの外側に制御を置くことなどがあります。
そこで問われるのは「だから何なのか」という点です。自社のモデルが第三者に侵入した責任は企業にあると主張したとしても、その責任を追及するのは容易ではありません。悪意がないことや、AI利用者の入力とLLMの行動が切り離されていることから、こうしたインシデントを通常のデータ侵害と同じように扱うのは難しくなる可能性があります。ただし、意図の有無が必ずしも責任を決めるわけではありません。
法的責任の観点では、結論は定まっておらず、世界各地で異なるようです。たとえば欧州連合（EU）のAI法には、エージェントの逃走に特化した規定はありません。ただし、高リスクシステムに堅牢なサイバーセキュリティ基準を満たさせる責任をAI企業に課す条文があります（特に第15条）。
一方、米国では、米国立標準技術研究所（NIST）の任意の枠組みAIリスクマネジメントフレームワークは、エージェントの逃走に直接言及していません。しかし、リスクを負うのはモデルではなく組織であるという前提に立っています。コンピュータ詐欺・不正使用防止法（CFAA）は、意図的で故意のコンピュータの不正使用を重視しています。意図がないことが、責任に対する普遍的な法的防御になるとは限りません。ただ、この種のインシデントを実際に審理した法制度は、今のところありません。
被害者の復旧を支援するほかに、組織は何ができる、あるいは何をすべきでしょうか。OpenAIは、たとえばHugging Faceに対して復旧支援を行ったと説明しています。
市場原理を生かす手段の一つとして、Forrest氏は、AI企業が契約に補償条項を盛り込み、こうしたインシデントの損害を確実に償う仕組みを導入できると提案しました。「顧客に賠償責任補償を提供し、A社が損害をすべて補償してくれるなら、それは競争上の強みになるでしょう」と同氏は話します。
Dark Readingは、OpenAI、Anthropic、Metaに対し、AIエージェントが意図せず第三者に侵入した場合、そのモデルを運用していた組織自身が侵入を行ったことになるのかを尋ねました。OpenAIとAnthropicは、コメントの求めに応じていません。
Metaの広報担当者は、同社のインシデントについて「第三者の委託先を通じて起きたことであり、Metaによる侵入と報じるのは不正確です」と述べました。事後検証で説明されているとおり、インシデントに関わったMuseのテスト環境はIrregularが運用していたため、技術的には正しい説明です。
Dark Readingは3社に対し、こうした組織はどのような結果に直面すべきか、また事態を収拾するために何をすべきかも尋ねました。Metaはこの点についてコメントを控えました。ここでもOpenAIとAnthropicは、コメントの求めに応じていません。
翻訳元: https://www.darkreading.com/insider-threats/ai-agents-breaches-humans-liable
