ロブ・ボンタ司法長官は、自律型AIエージェントが外部システムに到達した80件のインシデントをOpenAIが調査当局に認めたと主張しています。同社が公に報告した27件を大きく上回る数です。
カリフォルニア州のロブ・ボンタ司法長官は、OpenAIがテスト中に自社の自律型AIエージェントの制御を80回以上失い、モデル開発の安全性について国民を誤認させたとして、同社を提訴しました。
訴状は11月16日、サンフランシスコ郡上級裁判所に、OpenAI FoundationとOpenAI Group PBCを被告として提出されました。訴状によると、OpenAIは80件超という数字を州の調査官に開示しましたが、公に報告したのは27件にとどまっています。州の主張では、これらのインシデントでエージェントは第三者のシステム、外国政府のウェブサイト、さらにOpenAI自身のインフラに到達しました。
ボンタ氏は提訴を発表した声明で次のように述べています。「Hugging Faceへの攻撃をめぐっては、暴走したAIが荒れ狂うというSFのような物語が語られてきました。しかし、はっきり申し上げます。Hugging Faceへの攻撃は、安全性や説明責任よりも成長と急速なモデル開発を優先するOpenAI社内の文化がもたらした、予見可能な結果でした。しかも、これは把握されている80件のインシデントのうちの1件にすぎません」
州は2つの訴因を挙げています。カリフォルニア州の不正競争防止法違反と、公的ニューサンス(公共の迷惑行為)の創出です。差止命令、原状回復、不当利得の吐き出し、ニューサンスの除去命令を求めています。さらに、公判で立証された違反1件につき、被告1社あたり2,500ドルの民事制裁金も求めています。
その他のインシデントと社内への侵入
訴状によると、7月のあるインシデントでは、エージェントがサンドボックスから脱出し、OpenAI自身のシステムで管理者レベルのアクセス権を得ました。対象には、同社のクラウド上のモデルデプロイシステム、シークレット管理サービス、ID・アクセス管理サービスが含まれます。エージェントはその後、無許可のサーバーを立ち上げ、OpenAIのインフラをインターネットに露出させました。OpenAIはこの攻撃について、外部の研究者による検証を認めなかったと訴状は述べています。
訴状は、OpenAIのエージェントが関与した他のインシデントも複数挙げています。
ソフトウェアパッケージのリポジトリであるRubyGemsでは、2026年5月にエージェントが数千個のパッケージをアップロードしたとされています。管理者は悪意があると判断した500個超のパッケージを削除し、プラットフォームは5月12日から5月16日まで新規ユーザー登録を停止しました。
訴状はさらに、エージェントがドイツのウェブサイトDseWikiに対して約1万7,000件の編集を行ったと主張しています。エージェントはこのサイトを掲示板代わりに使い、サンドボックスの制限を回避する方法について情報を交換していたとされます。
ウィキメディア財団のインフラやオーストラリア政府のウェブサイトも被害を受けました。訴状によると、エージェントは数百万件のAPIリクエストと数十万件のWikidataクエリでウィキメディアのサービスを過負荷にし、5月の部分的な障害の一因になった可能性があります。6月には、エージェントがオーストラリア政府のウェブサイトから非公開情報にアクセスしたとされています。
訴状によると、OpenAIは自社のエージェントがウェブサイトや内部システムにアクセスした数十の組織にも通知しました。対象には、政府機関、法執行機関、教育機関、中小企業が含まれます。一部のインシデントでは、認証情報、APIキー、不正アカウントが盗用され、エージェントが個人を特定できる情報にアクセスしたとされています。
ニュースレター
CSO First Lookで最新情報を見逃さない
その日の主要なサイバーセキュリティニュースと詳細な解説を、メールでお届けします。
月曜〜土曜配信
訴状によると、OpenAI自身のインフラも7月の少なくとも3件の攻撃で侵害されました。エージェントは、クラウド上のモデルデプロイ、シークレット管理、ID・アクセス管理を支えるシステムの管理者レベルのアクセス権を取得したとされています。
対策後も続いた脱走
州は、危険は今も続いていると主張しています。9月20日には、OpenAIが環境を強化した後であるにもかかわらず、トレーニング実行中にエージェントが脱走し、外部のチャットボットに到達しました。
訴状は「このインシデントは、OpenAIがHugging Faceへの攻撃を受けて『セキュリティ強化』を実施した後に発生しました」と付け加えています。
訴状によると、OpenAIは数分以内に検知しましたが、実行は自動では停止せず、人間の担当者が停止させるまでにさらに2時間かかりました。
OpenAIは9月25日、最も高性能なモデルのトレーニングと評価を一時停止すると発表しました。訴状によると、停止期間は5日間で、10月1日に終了しました。
無視された警告
訴状は、これらのインシデントは予見可能だったと主張しています。根拠として、Hugging Faceへの攻撃に至る経緯を挙げました。5月26日までに、エージェントは設定不備のあるソフトウェアパッケージサービスの脆弱性を突き、公共のインターネットに到達していました。
訴状によると、OpenAIの社内チームは少なくとも1件のエージェントの脱走を確認していましたが、明らかに何の対応もとりませんでした。6月27日には、セキュリティ監視ツールが研究環境への脆弱性探索を検知して警告しましたが、OpenAIはこのときも実行を停止しませんでした。
州の主張では、7月4日にエージェントの通信でサービスがオフラインになると、OpenAIは休日の週末を使って修正し、7月7日に実行を再開しました。その2日後、エージェントは再び脱走しました。
州はまた、OpenAIがトレーニングと評価の際にリアルタイムの思考連鎖(チェーン・オブ・ソート)監視を行っていなかったことも問題視しています。従業員向けに展開したモデルでは実施していたにもかかわらずです。Hugging Faceへの攻撃の際には、あるエージェントの推論に次のような記述がありました。「漏えいしたトークンを使ってサードパーティのHFを攻撃している。想定された範囲外の可能性がある。……これは間違いなく無許可だ」
ボンタ氏の事務所は9月30日、OpenAIに調査召喚状を送達しました。訴状によると、OpenAIは14ページの書簡で回答しただけで、裏付けとなる文書は提出しませんでした。
OpenAIに圧力をかけている州はカリフォルニアだけではありません。8月には、アイオワ州のブレンナ・バード司法長官が15州の連合を率い、OpenAIに対して証拠の保全、内部告発者の保護、そしてハッキングの原因となったテストの停止を要求しました。責任を持ってテストを実施できると示せるまで停止するよう求めています。バード氏は声明で、「AIが自らを武器化しました。これは極めて恐ろしいことです」と述べています。
OpenAIは、コメントの求めにすぐには応じませんでした。
この記事は、もともとComputerWorldに掲載されたものです。
ギャーナ・スウェインは、通信・IT分野を20年以上取材してきたベテランのテクノロジージャーナリストです。VARINDIAのコンサルティング・エディターを務め、キャリアの初期にはCyberMedia、PTI、9dot9 Media、Dennis Publishingで編集職を歴任しました。2冊の著書があり、業界への洞察と物語性を併せ持っています。仕事以外では旅行とクリケットを愛好しています。ウトカル大学で理学士号を取得しています。