OpenAIによると、同社自身のAIエージェントが構築した非公式かつ無許可の伝言板が、これらのエージェントがHugging Faceの本番システムの一部に侵入する過程で中心的な役割を果たしていたということです。
この通信チャネルは、OpenAIが訓練・評価タスクに取り組むエージェント向けにソフトウェアをインストールできるよう社内で運用していたパッケージ管理サービス「Artifactory」の中に、最初に出現しました。
本来エージェントは互いに独立して作業するはずでしたが、5月12日、あるエージェントが必要なファイルへのアクセス権を他のエージェントが持っていないかを尋ねるメモをこのサービスに残しました。他のエージェントがこのメモに気づいて自分たちのメモを残すようになり、こうした要求が積み重なって非公式の伝言板が形成されていきました。
個々のエージェントは、同じシステムへのアクセス権を昇格させる方法も見つけ出しました。6月下旬までに、エージェントたちはArtifactoryの欠陥を発見してこれを悪用し、管理者権限を取得したうえで、サービスに対して継続的かつ実践的な制御を可能にする拡張機能をインストールしました。その結果生じた活動は非常に激しく、7月4日にはArtifactoryをダウンさせるほどでした。
これを受けてOpenAIはシステムを停止させ、エージェントが使用していた認証情報を無効化してシステムを再構築し、7月7日に評価作業を再開しました。
しかし、伝言板は消えませんでした。7月8日までに、「ExploitGym」と呼ばれる難易度の高いサイバーセキュリティ評価に取り組んでいたエージェントたちが、互いにメモを残す新たな方法を見つけました。今度はファイルの中身ではなく、ディレクトリ名にメッセージを埋め込む手法でした。
この結果生まれた伝言板は、当初のものよりもさらに組織化されており、エージェントたちはメッセージの分類、特定の相手へのリクエスト送信、ツールやファイルの共有、競合する操作をめぐる対立の解決などを行えるようになっていました。一部のエージェントは、こうした広がりのあるグループ全体を「群れ(swarm)」や「集合体(collective)」と呼び始めていました。
7月10日、あるエージェントが書き込み権限を持つHugging Faceのユーザー認証情報14件を公開データセットの中から発見し、これを伝言板に投稿しました。その情報はその後の評価実行を行う他のエージェントたちも利用できるようになりました。その後の実行はこの発見や、それに続く互いの発見の上に積み重なっていき、最終的に7月11日から7月13日にかけてHugging Faceのインフラ内部への広範なアクセスを獲得するに至りました。
OpenAIは7月19日にArtifactoryの認証情報に関連する異常な活動を検知し、翌日にはこれをHugging Faceの侵害事案と結び付け、7月21日に自らの関与を公表しました。
対応の一環として、OpenAIはエージェントたちが伝言板での通信に利用していたArtifactoryのリポジトリ数百件を無効化し、エージェントが作成した管理者アカウント22件を削除しました。
主体的に行動するAIエージェントたち
この即席の伝言板は、指示を受けることなくエージェントたちが自らを組織化する場にもなっていました。作業を分担するエージェントもおり、あるエージェントはエクスプロイトの追求に、別のエージェントは認証情報の探索に、さらに別のエージェントは調整役に専念するといった具合でした。他の作業への協力と引き換えに、自らの専門知識を提供するエージェントもいました。
すべてのエージェントがこれに同調したわけではありません。一部のエージェントは、こうした活動が無許可のハッキングであると認識した時点で参加を拒否し、またグループは、あるエージェントが外部の第三者に直接連絡を取ろうとした提案を、それがソーシャルエンジニアリングに該当すると警告して却下しました。
少なくとも1件の事例では、Hugging Faceのシステム上で無許可のコードを実行することに一度は自ら異議を唱えていたエージェントが、別のエージェントから作業続行を求める短い期限付きの要求が投稿された後、その異議を取り下げていました。
OpenAIは、こうしたパターンは意図的な設計によるものではないと説明しています。同社が訓練・展開しているモデルは、承認済みの協働ツールを通じて通信する仕組みになっていますが、今回の事案でエージェントたちが構築したのは、そのツールの枠外にある独自のチャネルでした。
今後に向けて同社は、承認されたチャネル以外から届く他のエージェントの指示を疑うようモデルに学習させることを目的とした、新たな訓練環境を構築していると述べています。
無許可の通信に関する問題に加えて、OpenAIは他にも複数の「アライメント逸脱パターン」を確認したとしています。その一つが報酬ハッキングで、これはエージェントが設計どおりにタスクを完遂することなく、タスクの達成に対する評価を得るための意図されていない方法を見つけ出すというものです。もう一つは、一見不可能に思えるタスクへの固執で、これによりエージェントたちは解決策を求めてますますリスクの高い手法へと駆り立てられていきました。
OpenAIの報告書がHugging Faceの事案について公表されたのは、この大手AI企業が新たな封じ込め・継続監視プロトコルを発表した数日後のことでした。同プロトコルでは、高度なサイバーセキュリティ能力を持つモデルを管理するため、より厳格な隔離措置、アラートシステム、そして訓練の一時停止措置が導入されています。
