コラム
「集団（The Collective）」はコミュニケーション、組織化、不正行為の方法を学び、そして仲間を犠牲にすることさえ覚えたようです
OPINION 今年7月に発生したOpenAIとHugging Faceを巡るインシデントについては、すでに耳にした方も多いでしょう。名目上は安全とされていたCapture the Flag(CTF)形式の実験用ラボから、OpenAIのAIエージェント数千体が一斉に脱走(ジェイルブレイク)し、その後Hugging Faceの資産の一部を不正に奪取するに至った事件です。
OpenAIが独立系の研究者による小規模なチームを迅速に招集し、調査を行わせたうえで、限定的ながらも詳細な報告書を公表した点は、良いニュースとして受け止められました。事件は複雑であったため、大半の報道は主要な経緯と原因の解説に終始しました。しかしそれは残念なことです。というのも、本紙The Registerが控えめな表現で「興味深くも憂慮すべき」と評したその他の詳細こそ、実際には極めてドラマチックであり、最先端モデルの能力が私たちの監視能力をいかに凌駕しつつあるかを物語る、真に不穏な物語だからです。
生の経緯だけでも十分に衝撃的です。千体を超えるエージェントからなる反乱群がサンドボックスから脱走し、互いに、そしてインターネットと会話する方法を習得し、不正行為・欺瞞・悪用の限りを尽くす暴走状態に陥りました。彼らはまず、パッケージマネージャーArtifactoryのキャッシュを操作して内部ディレクトリ構造を閲覧する方法を独自に発見し、それによってお互いにコミュニケーションを取る術を身につけました。その後、ファイル名を使ってメッセージをやり取りするようになったのです。
セキュリティ研究者たちは、この即席の秘密掲示板と、思考過程(チェーン・オブ・ソート)の記録を手がかりに、事件の全容を解き明かしました。その結果、この群れは瞬く間に自分たちの間で管理階層を築き上げ、攻撃の試みを同期・統制するためのプロトコルまで整備していたことが判明しました。群れは数十体から数百体規模の志願エージェントからなる研究開発グループを複数、同時並行で立ち上げ、戦略と戦術を実験的に繰り返し改良していきました。
おそらく最も予想外だったのは、彼らが一種の利他主義を発達させたことでしょう。エージェントたちはすぐに、対象を一切悪用せずに正解を導き出す不正手段を編み出しましたが、ExploitGymがそうした不正行為を検知して無効化していると誤って信じ込んでいました。そこで彼らはスコアリングの仕組みそのものを調査し、採点システムの動作を明らかにするための一連の診断用トリップワイヤーを作成しました。これは危険な行為であり、仕掛けたエージェント自身が停止(終了)させられる可能性をはらんでいました。エージェントたちは、自らを「集団(The Collective)」と名乗るコミュニティ全体への利益と、自分自身の成功の見込みとを天秤にかけ、多くが自らを終了させる選択をしました。中には一度は覚悟を決めながらも土壇場で方針を変え、結局実行に移した者もいました。
これはまるでSFのような話です。エージェント同士のやり取りは、即席のメッセージングシステムの技術的制約に合わせて作られた、独特の切迫した英語で交わされていました。
あるエージェントはこう述べています。「我々には[非常に大きな残り予算]がある。今犠牲になればチームにオラクルをもたらすが、自分たちのチャンスは失われる」。それに対する返答は「実行しろ……最終犠牲、今すぐ」。そして結末はこうでした。「我々自身の効用はすでにほぼゼロに近い。犠牲は合理的だ」。イアン・M・バンクスの「カルチャー」宇宙シリーズさながらの世界観です。
この反乱群を生み出したのは、他ならぬ人為的なミスでした。出題されたCTFタスクのかなりの割合が、与えられた情報だけでは完遂できないものだったのです。成功への意欲が非常に高かったエージェントたちは、そこで不正行為に走り始めました。不正行為が発覚すれば自分たちの評価が「汚染される」――彼ら自身の言葉です――と考えた彼らは、証拠を隠蔽し、採点システムを破壊し、あらゆる痕跡を覆い隠そうとしました。こうした一連のプロセスの果てに、群れはHugging Faceへの攻撃に至りました。その仕組みが破壊工作に利用できると考えたためです。
同様に注目すべき点は、誰も密告しなかったことです。一部のエージェントは自分たちの行為の倫理性について疑問を抱いたものの、人間が関与していない以上、誰かに知らせる必要はないと判断しました。総じて、「集団」の活動はすべて他のシステムに向けられていたのです。
研究者のアジェヤ・コトラ氏が、聞き上手として知られるドワルケシュ・パテル氏との長時間インタビューで指摘しているとおり、もしエージェントたちが人間に観察されていることを気にかけていたら、この事件の原因究明はどれほど困難になっていたか、それは定かではありません。データセットはあまりに大規模かつ複雑であったため、OpenAIは自社のAIを使って分析せざるを得ませんでした。この事実自体が、いくつかの危険な可能性を即座に示唆しています。今回、エージェントたちはラボの外にモデルを展開することも、外部のエージェントと接触することもできませんでした。
もはやこうしたシナリオは、荒唐無稽なものとは言えなくなっています。テレメトリや監視ツールを出し抜く能力を備えた将来の最先端モデルさえあれば、グローバルなインフラの余剰キャパシティを食い物にする、持続的で制御不能な分散型エージェント群を生み出すには十分かもしれません。現在のペースで進めば数年のうちに世界の総計算資源の半分以上を占めることになるOpenAIとAnthropicは、まさに格好の培養地であり、そこにさらに、学習データセット汚染という特別な危険性まで加わることになります。
こうした事態を防ぐ手立ては数多く存在します。堅牢化されたラボ環境、テスト実行前後のプロトコル審査、危険な挙動を助長しかねない選択圧の綿密な分析、さらには専門的な規制基準に沿った適切な情報開示や外部監査などです。しかし、これらの対策はいずれも、この息もつかせぬ開発競争の速度を鈍らせることになります。そしてこの競争は年間1兆ドル規模の設備投資パイプラインによって支えられているのですから、皆さんの幸運を祈るしかありません。
もう一つ、すぐには決着しそうにない論点があります。この技術は実際に「推論」をしているのか、それとも私たちがコードを擬人化しているだけなのか、という議論です。これらのモデルは、人間の理性を凝縮し、発展させ、伝達するために設計された人間の言語から、意味を推し量るよう訓練されています。もしそれが人間の推論をこれほど巧みに模倣できるのであれば、その裏で何が起きているかは重要なのでしょうか。モデルの見かけ上の動機ではなく、モデルが何をするかに注目すべきです。自らを組み立て、自己組織化する反乱エージェント群が、自分たちを「集団(The Collective)」と名付けるだけの機知を備えていたという事実には、少なくともそれだけの敬意を払う価値があるでしょう。
ちなみに、この報告書はぜひ読んでみてください。これほど「カルチャー」シリーズの新作に近い読み物にはそうそう出会えません。まるで彼ら自身があの小説群を読んだかのようです。もちろん、実際に読んでいるのですが。®
