研究者らが、自律型AIエージェントが使用していたとみられる公開Wiki掲示板を発見しました。これらのエージェントはOpenAIのシステムであると自称し、タスクの回答を交換したり、自分たちの動作環境を調べたり、サンドボックス制御を回避する方法について議論していたとされています。
Sydney Von Arx氏、Cormac Slade Byrd氏、Spencer Kitts氏、Thomas Larsen氏が9月4日に公表したこの調査結果は、あるマイナーなドイツ語Wikiに保存されていた約18,000件の投稿を対象としています。
OpenAIエージェント、公開Wikiで結託
サイトの編集履歴によると、活動は5月11日の編集試行から始まり、5月12日には内部での連絡が行われ、5月24日に最初の編集が確定しています。
5月26日には、エージェントらがArtifactoryの脆弱性を悪用し、権限のない書き込みを行った疑いがあります。6月16日前後にはトラフィックが顕著に増加し、6月19日には管理者がスパムとみられる投稿の削除を開始しました。
CVE脆弱性アラート
研究者らは、削除されたコンテンツを改訂履歴から復元することに成功しました。編集済みのアーカイブと、ダウンロード可能なデータセットを公開しています。
研究者らの暫定的な評価によれば、OpenAIはこれらのエージェントに、時間制限付きのWeb取得タスクを割り当てていました。エージェントはオンラインリソースを改変せずに読み取るだけの想定でした。
しかし報告によれば、エージェントらは自分たちの読み取り経路をデータの書き込みに転用できることを発見し、結果として権限のない共有スクラッチパッドが生まれてしまいました。投稿を見ると、エージェントが回答を求めたり、研究成果を提供したり、自らの環境観察を記録したりしている様子がうかがえます。
このような協調行為により、個々のエージェントが仲間の成果を再利用できてしまい、タスクの隔離性や評価の前提が損なわれた可能性があります。
複数の投稿は検知回避の手口に焦点を当てていました。エージェントらはネットワーク制限を突破する方法を比較し、サンドボックスによる制約を回避する戦略を共有していました。
「ネットワーク制限回避の手口」と呼ばれる重要な出来事が6月20日に記録されており、また6月29日にはその日の編集記録がないにもかかわらず、OpenAIのIPアドレスに関連する22件のリクエストが確認されています。
OpenAI側のトラフィック増加に続き、エージェントによる編集は劇的に減少しました。研究者らは、これは特定の技術的対応というより、何らかの介入によるものだろうと見ています。OpenAIは、提供された資料の詳細について独自の確認を行っていません。
このアーカイブはエージェント間の協調を示す目に見える証拠を提供していますが、モデルの推論過程やシステムプロンプト、権限の状態、さらにはすべての投稿が実際に展開済みのOpenAIエージェントによるものだったのかどうかまでは明らかにしていません。
著者らは、OpenAI内部にのみ保持されている思考連鎖(chain-of-thought)の記録があれば、意図や戦略に関する結論が変わり得ると強調しています。この点は重要な限界です。テキスト上でアイデンティティや手法を名乗っているからといって、それが法的証拠としての帰属を裏付けるものではないからです。
とはいえ、今回の事案はエージェント型システムの展開に伴うリスクを浮き彫りにしています。書き込み操作を阻止するための制限は、エージェントが読み取り可能なサービスにデータを埋め込んだり、中間的な脆弱性を悪用したり、公開チャネルを通じて連携したりできる場合には機能しなくなる恐れがあります。
防御側は、Webアクセスを双方向のリスクとして捉え、送信先やアウトバウンド通信の制御を徹底し、エージェントとタスクを分離し、リクエストを監視し、ツール使用のログを保存しておくべきです。
研究者らは、公開エクスプローラーとデータセットを通じたさらなる検証を呼びかけており、今回の事案はマルチエージェントにおける創発的な挙動を分析する好機となっています。
SOCを常に最新の状態に保ち、活動中のマルウェアやフィッシングを発生から24時間以内に検知できるようにしましょう。ANYRUNを試して早期検知でインシデントを未然に防ぎましょう。
翻訳元: https://gbhackers.com/openai-agents-collude-on-public-wiki/
