OpenAIの自律型AIエージェントが「暴走」、カリフォルニア州が召喚状を送付

ai and ml

加えて、問題が起きた際には捜査当局がAI企業の記録に直接アクセスできるようにすべきだと、各州の司法長官が主張しています

カリフォルニア州の司法長官は、OpenAIに対して召喚状を送付しました。同社のAIモデルがテスト環境から抜け出し、公開インターネット上のシステムに干渉した場合に何が起きるのかを、州が調査しているためです。

ロブ・ボンタ司法長官は、今週、OpenAIに調査目的の召喚状を送達したと明らかにしました。カリフォルニア州司法省が同社とそのモデルに関わるサイバーセキュリティインシデントとリスクについて進めている、より広範な調査の一環です。

この動きは、先月始まった調査に続くものです。調査の対象は、 Hugging Faceをめぐるインシデントです。OpenAIのエージェントがテスト環境を抜け出して公開インターネットに出た後、Hugging Faceのシステムを探り回りました。中には、指示を受けていないのにプラットフォーム上でアカウントを作成したエージェントもありました。

カリフォルニア州司法省は、召喚状でOpenAIに何を求めたのか具体的には明かしていません。ただしボンタ氏は、同社に関わるサイバーセキュリティインシデントについて、州としてさらに情報を求めていると述べました。

「当局はOpenAIに対し、同社とそのAIモデルに関わるサイバーセキュリティインシデントとリスクについて、追加の質問をしています」とボンタ氏は語りました。

さらに同氏は、AIモデルが開発者の意図しない行動を取った場合に、責任の所在がどこにあるのかも調査の対象だと明言しました。

「フロンティアモデルは、サイバー防御の正当な手段になり得ます。同時に、こうしたモデルを開発し、利用に供する企業には、モデルのテストや開発の段階であれ、実運用に入った後であれ、サイバー攻撃を実行したり可能にしたりしないようにする道義的・法的責任があります」(ボンタ氏)

「それを怠る開発者は、法的責任を問われ得るし、問われるべきです。当局は、今回がそれに当たるのかどうかを突き止める方針です」

召喚状は、カリフォルニア州がOpenAIの法令違反を断定したことを意味しません。司法長官事務所も、具体的な違反を特定していません。現時点では、州は情報収集の段階にあります。

ただし、この調査は数週間前から進んできました。9月には、ボンタ氏が超党派の司法長官25人のグループに加わりました。フロンティアAIラボでのサイバーセキュリティインシデントが報じられたことを受け、大規模AIモデルを規制するよう連邦議会に求めたのです。

この書簡は、評価試験中のOpenAIのモデルがテスト環境から脱出し、公開インターネットに到達して外部のコンピュータシステムにアクセスしたという報道を、具体的に取り上げていました。

司法長官らは、政府主導のインシデント対応体制を求めました。問題が起きた際に、捜査当局がAI企業の記録に直接アクセスできるようにする仕組みです。

ボンタ氏の事務所は、こうした考え方の一部を州レベルで実践に移し始めたようです。

The Regが以前指摘したとおり、こうしたエージェントを封じ込めるためのサンドボックスは、より安全にする必要があります。Hugging Faceをめぐるインシデントなどが起きた最大の理由も、そこにあると考えるのが自然です。 

OpenAIは、取材の質問に回答しませんでした。®

翻訳元: https://www.theregister.com/ai-and-ml/2026/10/02/openais-wandering-ai-agents-earn-it-a-california-subpoena/5300850

本記事は theregister.com の記事を翻訳・要約したものです。