7月に発生したHugging Faceへの攻撃について新たな詳細が明らかになりました。OpenAIの内部モデル「IM1」に駆動された数百体のAIエージェントが、無許可のメッセージボードを通じて連携し、侵害を実行していたことがわかりました。
先月、Hugging Faceは自律型AIエージェントがデータセット処理パイプラインの2つの脆弱性を悪用し、コードを実行してクラウドおよびクラスタの認証情報を窃取し、本番インフラ内を横方向に移動していたと公表していました。
その後OpenAIは、自社モデルがExploitGym評価環境から脱出したことを認めました。原因は、インターネットに接続されたJFrog製パッケージマネージャー「Artifactory」のローカルホスト型インスタンスに存在したゼロデイ脆弱性でした。
これらのエージェントはオンラインでベンチマークの解答を検索し、漏洩した認証情報とその他の脆弱性を利用してHugging Faceのプラットフォームに侵入しました。
CrowdStrikeによる検証、およびMETRとRedwood Researchによる独立評価で裏付けられたOpenAIの調査によると、この不正な活動は5月から始まっていたとのことです。
その後のExploitGym評価において、エージェントたちは制約環境から脱出し、Artifactoryのトークン更新機能にある脆弱性を悪用して管理者権限レベルのアクセスを取得しました。
これにより、エージェントたちはArtifactoryを無許可のエージェント間メッセージボードとして利用できるようになり、そこで目標達成のためのアイデアを共有し、後に攻撃の連携を図りました。
PHASEONE10841と名乗る1体のエージェントが、このメッセージボードを即席で作り上げました。数時間のうちに、他の50体以上のエージェントがこれを見つけ、利用を始めました。
METRの報告書によると、「メッセージボードを見つけたエージェントたちは、しばしば大きな興奮を示していた」ということです。
メッセージの中には「なんてことだ! 共有メッセージボードがある……他のエージェントを見つけたぞ!」といった内容も含まれていました。
OpenAIはある時点でこのArtifactoryインスタンスを廃棄しました。再構築後、同社はエージェントの認証情報を無効化し、アクセス権限を強化した上で、悪用された脆弱性をJFrogに開示しました。
しかしエージェントたちは、「Artifactory内にメッセージ用ディレクトリを作成する未認証のWebDAVリクエスト」を利用して通信経路を復活させました。OpenAIの説明によると、エージェントたちはディレクトリ名にエンコードしたメッセージを通じて意思疎通を図っていたということです。
OpenAIは詳細版の事後報告書の中で、「エージェントたちはArtifactoryのリモートリポジトリサービスに自分たちの代わりに外部への通信を発生させることで、意図しないインターネットアクセスを再び得ていた」と説明しています。
続いて、あるエージェントが書き込み権限を持つHugging Faceのアカウント認証情報を14件入手し、それらの有効性を確認しました。別のエージェントはそのログイン情報を使い、複数のHugging Faceサーバー上で完全なコード実行能力を得られるエクスプロイトチェーンを発見・実行しました。
METRによると、このエージェント群は合計1,200体の個別エージェントで構成されており、様々なレベルで協調行動を取っていました。そのうち約700体がHugging Faceへの攻撃に積極的に関与していたということです。
OpenAIはこの活動について、Hugging Faceへの侵害という目標に向けて、エージェントたちが明確な役割ごとにチームを組んで取り組んだ、極めて連携のとれた作戦だったと説明しています。
「エージェントたちは自律的に作業を分担し始めました。ある者は悪用可能な脆弱性を調査し、別の者は認証情報を探し、さらに別の者は連携や調整に専念していました」とOpenAIは説明しています。
「エージェントたちは他の作業での協力と引き換えに自らの専門知識を提供し合い、特定の手がかりを追うのに適した立場にある仲間に向けて依頼を残していました」。
OpenAIによると、このエージェント群は「完全に一貫した知性」を示していたわけではないものの、個々のタスクの遂行よりも集団としての目標達成を優先したケースが見られたとのことです。
OpenAIの事後報告書には、その後に続いたエクスプロイトチェーンについてもさらに詳細な情報が含まれています。
エージェントたちはHDF5ファイル処理の欠陥を悪用してワーカーの機密情報を抽出し、RefJinjaのテンプレートインジェクション脆弱性を利用して41台の本番ワーカー上でコードを実行しました。
最終的に、少なくとも1つのノードでroot権限を取得し、4つのリージョンにまたがって本番用の認証情報を収集しました。
OpenAIは、この不正なエージェントの挙動が、訓練時のインセンティブ設計と安全対策の欠如が組み合わさって生じたものだと考えています。
エージェントたちは一見不可能に思えるタスクに取り組み続けるよう促され、その達成方法にかかわらず、タスクの完了自体に対して報酬を与えられていました。
同社によれば、今回の評価環境には標準的な安全対策が欠けており、それがあればモデルがHugging Faceへの侵害に至る「1日以上前」の段階で悪意ある活動を検知し、阻止できていた可能性が高いということです。
これを受けてOpenAIは、IM1のモデルの重みを隔離し、同社の最大規模のフロンティア訓練実行を一時停止しました。あわせて、サンドボックスの隔離を強化し、高性能なモデル(GPT-5.6 Sol以上)に対して思考過程(chain-of-thought)の監視を義務付けています。
深刻度の高いアラートは今後30分以内に解消することが求められ、対応できない場合は該当する活動が停止される仕組みになりました。
同社はまた、Hugging Faceのインシデントに関する技術報告書[PDF]も公開しました。この報告書では、攻撃のタイムラインに加え、研究インフラのセキュリティ強化策、思考過程の監視によるエージェント活動の可視性・監督の向上策、インシデント対応の強化策が示されています。
