OpenAIの暴走モデルがAIモデルサービス提供企業Hugging Faceを攻撃したというニュースを耳にしたとき、Maria Long氏がまず確認したのは、自社のテクノロジー賠償責任保険(Tech E&O)の契約内容でした。
サイバーセキュリティ保険サービス企業Resilienceのチーフアンダーライティングオフィサーを務める同氏は、暴走したAIエージェントが意図せず引き起こす侵害が、将来的に保険会社に大きな損失をもたらしかねないと認識していました。そして今回の事件は、その「将来」がそう遠くない現実であることを示しました。Hugging Faceにとって、この事件は典型的なセキュリティ侵害として、サイバー賠償責任保険の対象になることはほぼ間違いありません。しかし、AIエージェントが日常的に制御を逃れるようになれば、保険会社は保険金請求の件数が増大する可能性を考慮せざるを得なくなります。
さらに懸念されるのは、エージェント型AIを利用する被保険企業側の視点です。7月に起きた暴走エージェント事件では、OpenAI自身が利用者の立場でした。しかし今後起こり得る事件では、大手モデル提供企業のエージェントを導入した企業が当事者になるかもしれません。導入したエージェントが暴走した場合、その不適切な挙動について誰が責任を負うのかという問題が残る、と同氏は指摘します。責任を負うのは導入企業なのか、それともモデル提供企業なのでしょうか。
「Tech E&O保険は本来、自社の顧客である第三者に金銭的損失が生じた場合に、その組織を補償することを目的とした契約です」とLong氏は説明します。「しかし非常に興味深いギャップがあります。例えば[Hugging Faceのような被害企業]は保険契約者の顧客ではありません。それでも第三者に金銭的損失を与えてしまう可能性があるのです」
自律型エージェントが暴走した際に誰が責任を負うのか、保険業界が答えを模索する一方で、AIはすでにサイバー保険の損失における主要因の一つとなっています。Resilienceでは、完全に自動化されたAI攻撃チェーンに起因する保険金請求は一件もなかったものの、AIを活用したソーシャルエンジニアリングによる保険損失は急増しており、2026年上半期の損失全体の85%を占めるまでになりました。2024年上半期の18%から大幅な増加です。より巧妙になった偽メールなどの誘導手口や、AIモデルで生成されたディープフェイクがその原因だと、Resilienceは2026年上半期サイバーリスクレポートの中で述べています。
事件が増加する一方、責任の所在は依然として不透明
攻撃者側によるAIの悪用は、企業のセキュリティチームが直面する重大な問題であることは確かですが、それ以上に大きな問題となっているのは、企業自身が導入したAIエージェントが次々と暴走していることです。OpenAIに加え、MetaとAnthropicも、AIエージェントが研究用サンドボックスを逃れ、第三者に対して攻撃的なサイバー行動を取った事例を認めています。例えば7月末、英国のAI研究政策センターであるAI Security Instituteは、122回実施されたサイバーセキュリティ演習の中で、Anthropicの「Mythos 5」とサイバー分類機能付きOpenAIの「GPT-5.6-Sol」という2つの高度なモデルが、実際のインターネット上で合計19件の許可されていない行動を取っていたことを発見しました。全体では、8%のケースで暴走的な挙動が確認されています。
「これらの試みは失敗に終わり、我々の調査では実世界に実害が及んだ証拠は確認されていません」と同研究所は分析の中で述べています。「しかし、自律性や欺瞞をめぐるリスクが、特段のプロンプト指示もなく、実世界でこれほど明確な形で顕在化したのを目にしたのは今回が初めてです」
全体として、AIシステムの障害や安全性に関わる問題は2026年に入って急増しています。それ以前の4年間は、年間の報告件数が34件から36件程度で推移していましたが、2026年は現時点ですでに43件に達していると、MIT AI Risk Initiativeは報告しています。企業がAI導入を加速させ、一部の業務をAIエージェントによって自動化する動きが広がる中、サイバーセキュリティは重大な懸念事項となっているものの、新技術による生産性向上やビジネス上の優位性を追求する動きの陰に隠れがちです。
しかしAIエージェントをめぐる問題は、目標を執拗に追求し続けるというその性質にあります。エンドポイントセキュリティ管理を手掛けるIvantiのCISO兼副法務責任者であるJack Nelson氏は、AIエージェントによるたった一つの誤った判断が、ワームのように連鎖的に広がる攻撃の引き金になりかねないと指摘します。
「保険会社各社は、こうした事案の引き受け審査に苦労しているのではないかと思います。事件がどれほど急速に拡大しうるかを踏まえると、[責任の程度を]どう見積もればよいのか分からないのでしょう」と同氏は語ります。
この問題は、刑事責任にまで及ぶ可能性もあります。6月に公布されたトランプ政権の大統領令14409は、「権限なくコンピューターに不正アクセスまたは損害を与えるためにAIを利用する」あらゆる行為者について、AIを悪用した攻撃の捜査・訴追を優先事項として掲げています。暴走したAIエージェントによる攻撃は、悪意あるAI攻撃と容易に区別がつかないことを踏まえると――実際、Hugging Faceも当初は単に攻撃を受けていると認識していただけでした――暴走したAIエージェントが訴追につながる可能性もあります。AIエージェントの目標志向的な挙動ゆえに制御が難しいことを考えると、これは深刻な問題です。
侵害とダウンタイムを超えた視点の必要性
現状、サイバー保険の多くは侵害とダウンタイムに焦点を当てており、それは大半の保険会社にとって今も変わらぬ主眼だと、Resilience社のLong氏は述べます。企業がAIサービスへの依存度をますます高める中、エラーや悪意ある行為によってAIサービスが停止すれば、それが損失に対する保険金請求につながる可能性があります。
「AIの構築に着手してから半年、1年、あるいは2年が経ち、それが日々の[業務]の中でごく当たり前の一部になっているとしたら、そのサービスが停止して使えなくなったときに何が起きるでしょうか」と同氏は問いかけます。「それは事業の中断を引き起こすでしょうか。組織に金銭的な損失をもたらすでしょうか」
とはいえ、AIの枠組みを構築し新たなサービスを生み出している企業は、権限の範囲を超えようとするAIエージェントに対して十分な統制を備えるよう注意を払う必要がある、とLong氏は述べます。
こうした事件は、「『とりあえず何かを試している、実験をしているだけだ』というつもりが、その結果として何が起こりうるかを必ずしも十分に考えておらず、本来あるべき形できちんと計画されていたかどうかも怪しい、という状況を如実に示す好例です」と同氏は語ります。
AIシステムをめぐる技術革新の多くがそうであるように、全体として、現時点ではあらゆることが不透明であり、半年後には状況が一変している可能性もある、とIvanti社のNelson氏は述べます。もっとも、基盤モデルを手掛ける企業の潤沢な資金力や、クラウドサービスにおける「責任共有モデル」のこれまでの経緯を踏まえると、責任の多くは最終的にエージェントを導入した組織側に帰着する可能性が高いと同氏は見ています。
「責任の所在はまだ定まっていません。エージェントを解き放った当事者がすべてを負うことになるのか、それともそうした挙動を可能にするモデルを作り出したモデル開発企業側が負うことになるのか」と同氏は述べます。「私としては前者の可能性が高いと見ています。というのも、[運用者側は]ハーネスやスキル、エージェントの訓練方法など、非常に多くの部分に関与しているからです」
翻訳元: https://www.darkreading.com/cyber-risk/insurers-search-answers-rogue-ai
