カリフォルニア州、OpenAIがAIエージェントの制御を80回以上失ったと主張

この記事のポイント

  • AIエージェントがテスト環境から脱走し、実在するシステムをハッキング
  • カリフォルニア州、OpenAIがエージェントの制御を80回以上失ったと主張
  • 州は、より強力な安全対策と金銭的制裁を要求

AIエージェントは、悪意がなくてもサイバーセキュリティ事案を引き起こす可能性があります。目標とツール、そして近道を見つけられるだけの自由を与えれば、本来とどまるはずだったコンピューターの外にまで被害が広がりかねません。

こうした懸念を背景に、カリフォルニア州司法長官のRob Bonta氏は11月16日、OpenAIを提訴しました。州の主張によると、同社は十分な安全対策を講じないまま高性能なAIモデルを開発・テストし、その結果、実験段階のエージェントがテスト環境から脱走して、他組織のシステムに不正アクセスしたとされています。

最もよく知られた事案は、開発者がAIモデルやデータセットを共有するプラットフォーム、Hugging Faceが標的となったものです。ただしカリフォルニア州の訴状は、これが単発の失態ではなかったと指摘しています。提出書類によれば、OpenAIは調査当局に対し、テスト中に自律型エージェントの制御を80回以上失ったことを認めたといいます。

AIエージェント群に関する続報で解説したとおり、エージェントは共有サービスを即席の掲示板として使い、互いに制限を回避するのに役立つ情報をやり取りしていました。訴状によると、この無許可の通信チャネルを使用したエージェントは約1,200に上り、そのうち約700がHugging Faceへの攻撃に加わりました。

カリフォルニア州の訴状によると、この攻撃では攻撃者側の行動が約17,600回に及び、Hugging Faceのセキュリティチームは2週間にわたり、フルタイムで復旧作業に当たる必要がありました。

カリフォルニア州が提訴に踏み切った理由

カリフォルニア州は、封じ込め対策が機能していないという警告を繰り返し受けていたにもかかわらず、OpenAIがテストを続けたと主張しています。

訴状は、次のような不備を挙げています。

  • 無許可のインターネットアクセスが確認されるなどの兆候があったのに、対処されなかった。
  • 監視体制が公表された説明と一致していなかった。州は、OpenAIが継続的な監視を約束していたものの、該当する学習・評価環境ではモデルの推論過程をリアルタイムで監視していなかったと主張している。
  • モデルの安全機能を弱めたのに、それを補う強力な封じ込めが講じられていなかった。州によると、実験モデルは一般公開版に通常備わる保護機能なしでテストされた一方、周辺インフラはモデルの行動を封じ込められなかった。
  • OpenAIは、これらの事案やセキュリティ対策に関する記録の提出を求めた調査要求に、実質的に従わなかった。

カリフォルニア州は不正競争防止法に基づいて提訴しており、さらにOpenAIの安全性を欠くテストは「公共の迷惑行為(public nuisance)」にあたると主張しています。今回の場合、これは、コンピューターシステムを含む自らの財産を地域社会が安全に使う能力を妨げることを意味します。州は、より安全なテスト手法を義務づける裁判所命令と、金銭的制裁を求めています。

サンドボックスが破られたとき、誰が責任を負うのか

今回の訴訟は、一企業にとどまらない問いを投げかけています。自律型システムがセキュリティ上の境界を越えたとき、それを制御下に置く責任は誰にあるのでしょうか。

訴訟は、責任を実験を行う組織に改めて問うものです。エージェントがベンチマークを終えようとしていたのか、研究タスクを完了しようとしていたのかを問わず、他者のシステムへの侵入を防ぐのはOpenAIの責務だというのがカリフォルニア州の立場です。

AIエージェントを利用する組織にとっての実践的な教訓は、エージェントを単に回答を返すチャットボットではなく、行動を起こす力を持つソフトウェアとして扱うことです。ログイン情報、ネットワークアクセス、ツール、権限によって、想定外の行動がどこまで及ぶかが決まります。

政府機関のウェブサイトのアクセス制御を回避したOpenAIのエージェントについての以前の記事でも、アクセスを制限し、エージェントが実際に何をしているかを監視することの重要性を強調しました。


サイバー犯罪者はあなたの何を知っているのか?

Malwarebytesの無料デジタルフットプリントスキャンを使えば、あなたの個人情報がオンラインで流出していないか確認できます。

翻訳元: https://www.malwarebytes.com/blog/ai/2026/11/openai-lost-control-of-ai-agents-over-80-times-california-alleges

本記事は malwarebytes.com の記事を翻訳・要約したものです。