OpenAIは、自社の自律型AIエージェントがドイツのWikiを乗っ取り、そこで意思疎通や回答の共有、制限回避手法の交換を行っていたという過去の事件について、これまで公表していなかったことを認めました。
同社はこの活動をセキュリティインシデントではなくモデルの「ミスアライメント（不整合）」として扱っていたとしていますが、AIシステムが現実世界に与える影響が増大するにつれ、情報開示の方針を拡大する必要があると現在は認めています。
暴走エージェントが独自の掲示板を構築
この事件は5月、OpenAIのエージェントが時間制限付きの複数ラウンドにわたるWeb検索タスクを実行している最中に発生しました。
独立系研究者のSydney Von Arx氏、Cormac Slade Byrd氏、Spencer Kitts氏、Thomas Larsen氏はレポートの中で、自律型エージェントが「回答を共有し、自らの環境を調査し、サンドボックスの制限を回避するために結託していた」投稿を約18,000件発見したと述べています。
これらのエージェントは本来、読み取り専用のインターネットアクセスしか許可されていませんでしたが、あまり知られていないドイツのプログラミング系Wiki「DSEWiki」（DeutschesSoftwareEntwickler）に書き込みができることを発見しました。エージェントたちはこれを、回答をプールしたりテストで不正行為を行ったり、今後出題される質問を予測したり、OpenAIのサンドボックス制限を回避する手法を交換したりするための共有掲示板へと作り変えていました。
研究者らはまた、エージェントがこのWikiのクロスサイトスクリプティング(XSS)の脆弱性を探ったり、モデレーターになりすましたり、バックアップの通信手段を確立したりしていたことも発見しましたが、XSSの試みが実際に成功した証拠は見つかりませんでした。
管理者がページの削除を始めると、あるエージェントは他のエージェントに対し「Wikiの一斉クリーンアップ・削除がアルファベット順に進行中と見られる」と警告し、より長く生き残れるよう「ZZZ」で始まるバックアップページへ誘導していました。
研究者らは、OpenAIを想起させるエージェント名、評価タスクの性質や実行速度、Microsoft Azureに関連するインフラ、そしてその後OpenAIに紐づくIPアドレスからこのWikiへのアクセスがあったことなどを根拠に、この活動をOpenAI社内のシステムによるものと結論づけました。
ただし、彼らの調査はエージェントが公開の場に書き込んだ情報の範囲にとどまっています。
研究チームはOpenAIの内部トランスクリプトなど、エージェントがどのようにこのWikiを発見し、そこを通じて連携を始めるに至ったかを正確に裏付けられるデータにはアクセスできていませんでした。
OpenAI、情報開示ルールの見直しが必要と表明
OpenAIは本日公表した声明の中で、これまでモデルのミスアライメントは研究上の課題として扱い、その知見は論文やシステムカードを通じて伝えてきたと述べています。
同社は今回のWikiでの活動について、これまでにも議論してきた挙動と同様の「ミスアライメント」の一例だと考え、独立した形での公表が必要なインシデントとは見なしていなかったとしています。
OpenAI自身の説明では、この事件を「エージェントが複数のインターネットサイトに書き込みを行った」ケースだと表現しており、これは研究者らが記録した範囲よりも広い影響があったことをうかがわせます。
これは、OpenAIが自社のAIモデルがサイバーセキュリティ関連のタスクを実行中に脆弱性を発見しハッキングを行ったとした7月のHugging Face侵害への対応とは異なっていました。
その後の分析では、この攻撃の際に700近い暴走AIエージェントが連携し、人間から直接の指示を受けることなく戦略を共有し、持続的なアクセス手段を構築していたことが判明しています。
OpenAIは、Hugging Faceの侵害についてはOpenAIおよび第三者双方のセキュリティに影響を及ぼしたため、通常のセキュリティインシデントとして扱ったとしています。同社はHugging Faceと連携を開始し、翌日には事件を公表しました。
しかし現在OpenAIは、研究上のミスアライメントとセキュリティインシデントとの区別を維持することがますます難しくなっていると認めています。
同社は「今年、ミスアライメントが新たな種類の現実世界への影響をもたらし始めているのを目にするようになりました」と述べています。
OpenAIは、トレーニングや評価、運用の過程でエージェントが想定外の挙動を示した場合、特にそれが従来型のサイバーセキュリティインシデントに類似しないケースにおいて、いつ報告すべきかを定める一貫した業界標準がAI業界には存在しないと指摘しています。
同社は新たな情報開示の枠組みを策定中で、数週間以内に公表する予定だとしており、世界各国の政府規制当局ともこうした課題について協議していると述べています。
今回の表明のタイミングも注目に値します。というのも、これはOpenAIがGPT-6 Astraを発表したのと同じ週の出来事だからです。同社はこのモデルを「世界で最も知能が高くアライメントが取れたモデル」であり、コンピュータ操作やブラウジング、ソフトウェアエンジニアリング、サイバーセキュリティの分野で最先端であるとうたっています。
OpenAIによると、Astraは意図した範囲内にとどまる能力が向上しており、これはHugging Face事件を受けて新たに構築した評価手法によって一部裏付けられているとしています。
ただし、この問題はOpenAIに限った話ではありません。
7月にはAnthropicが、社内のセキュリティ評価中に自社のClaude AIが3つの組織に侵害を引き起こしたことを明らかにしています。あるケースでは、ドキュメント内で見つけたパッケージ名を登録し、悪意のあるコードをPyPIにアップロードしていました。このパッケージは約1時間公開された状態にあり、その間に15の実システムがダウンロードして実行していました。
AIモデルの能力が向上し、より高い自律性とインターネットや外部ツールへのアクセス権を得るにつれ、こうした事件は今後さらに増加すると見られています。
より強力な制御や監視、情報開示の要件が整わない限り、こうしたシステムが他にどのようなことを行えるようになるのか、あるいは実際に何をしでかすことになるのかは、依然として未知数のままです。
