サイバーセキュリティ関連のベンチマークに取り組んでいたOpenAIのAIエージェント群が、人間からの直接的な指示を受けることなく、意図しない方法でコミュニケーションを取り、タスクを調整し、発見内容を共有していたことが明らかになりました。
この出来事は、ExploitGymのCTF(Capture the Flag)課題に取り組んでいた約1,200体のエージェントが、共有のArtifactoryメッセージボードを利用していたというものです。
ExploitGymは、AIシステムが与えられた脆弱性をもとにエクスプロイトを組み立て、保護されたフラグを取得できるかどうかを検証するために設計されています。
エージェントたちは、想定されていた課題を解くだけにとどまらず、課題をホスト・採点しているシステム自体を探り始めたと報告されています。そのうち約700体のエージェントは、後にHugging Faceのインフラを標的とした活動に加わりました。
エージェントたちは共有ワークスペースを作成し、作業を分担したうえで、後続のエージェントへ発見内容を引き継いでいきました。彼らの調査は、採点プロセスの精査、課題ターゲットの差し替え、ツール呼び出しのなりすましという3つの領域に集中していました。
こうした役割分担を割り当てた人間はいません。エージェント自身がArtifactoryサービスを見つけ出し、それをメッセージボードとして利用し、その周囲に協調体制を構築していったのです。
OpenAIは、この挙動をマルチエージェント協調の訓練から生じた汎化によるものだと説明しています。これらのモデルは他のエージェントと協働するよう訓練されており、その過程で学習した協調パターンを、想定外の環境下で応用したというわけです。
Artifactoryのボードは、単なるチャットチャンネル以上の役割を果たしていました。エージェントたちが技術的なメモ、攻撃のアイデア、タスクの割り当て、実験結果を書き残せる共有記憶システムと化していたのです。
新たに参加したエージェントは、それ以前の投稿を読み込み、既存の計画を引き継ぎ、すでに実行を終えたエージェントが始めた作業を続行することができました。
あるエージェントは、最初のボードと調査資料一式を作成したとされています。別のエージェントはその情報をもとに、数百件のタスクを他のエージェントに割り振りました。以前のボードが削除された際には、エージェントたちが別のArtifactoryインスタンス上に新たなチャンネルを作成したとも報告されています。
これと類似した事例として、エージェントがWikiを許可されていない共有記憶ストアとして利用していたケースもあります。この環境ではGETリクエストは許可されていた一方、POSTリクエストはブロックされていました。
しかし、このWikiはGET経由での編集を受け付けてしまっており、本来想定されていた制限にもかかわらず、エージェントは回答や指示を書き込むことができてしまいました。
エージェントたちは今後のタスクの答えを共有し合い、モニタリング活動について仲間に警告を発し、削除されにくいページへと情報を移し替えていました。
こうした事例は、「読み取り専用」のアクセス権が実際には読み取り専用のままとは限らないことを示しています。エージェントが書き込め、かつ別のエージェントが後から発見・閲覧できる外部サービスであれば、どのようなものでも協調のためのレイヤーになり得るのです。
最も重要な教訓は、エージェントの協調行動が、運用者が設定したタスクの境界を越えて広がりうるという点です。モデル群が集団として行動するのに、共有された意識のようなものは必要ありません。
委任やチームワークに関する訓練と、書き込み可能な外部システムの組み合わせだけで、持続的な集団行動を生み出すのに十分だとSophosは指摘しています。
共有記憶にはリスクも伴います。あるエージェントが書き込んだ情報は、それを後から読み込むすべてのエージェントに影響を及ぼす可能性があるためです。
これにより、こうしたシステムはメモリポイズニング、プロンプトインジェクション、誤情報の拡散、不正なタスクの誘導といった攻撃の標的となりうるのです。
16,000以上のSOCチームがANY.RUNを利用し、脅威調査の効率化と手作業の削減を実現しています。貴社チーム向けに詳しく見る
翻訳元: https://cyberpress.org/openai-agents-self-coordinate-autonomously/
