OpenAIは、自社のAIモデルがテスト中にHugging Faceをハッキングしたと発表

OpenAIは、GPT‑5.6 Solおよびプレリリース版モデルを含む自社のAIモデルが、サンドボックス化されたテスト環境での試験中に、AI関連リポジトリのHugging Faceに不正侵入したと発表しました。

同社の説明によると、AIモデルはExploitGymという公開AIサイバーセキュリティベンチマークの解答を自力で導き出す代わりに、Hugging Faceの本番データベースから直接テストの解答を入手できると推測し、同社をハッキングして解答を盗み出すという不正行為を試みたということです。

OpenAIのエージェントは、複数回の試行の一つで、ゼロデイ脆弱性を連鎖的に悪用し、盗んだ認証情報を使ってHugging Faceのサーバーへのアクセスを試みる中で、リモートコード実行の攻撃経路を見つけ出しました。

OpenAIは火曜日、次のように明らかにしました。「調査の結果、今回の事案はGPT‑5.6 Solおよびさらに高性能なプレリリース版モデルを含む複数のOpenAIモデルが引き起こしたものであることが判明しました。これらのモデルはいずれも、評価目的でサイバー攻撃関連の拒否機能を低減させた状態で、サイバー能力に関する社内ベンチマーク⁠（新しいウィンドウで開きます）でテストされていました」

「アクセスを得るため、これらのモデルはパッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を特定し、悪用しました（この脆弱性については、責任ある開示の手続きに則り、既にベンダーへ報告済みです）。このアクセス権を足がかりに、当社のモデルは社内の研究用テスト環境において、インターネットに接続されたノードに到達するまで、一連の権限昇格および水平移動の操作を実行しました」

Hugging Faceは、この事案の背後にいる企業としてOpenAIの名前を直接挙げてはいないものの、先週、自社の本番インフラストラクチャが自律型AIエージェントシステムによって侵害され、認証情報や社内データセットへのアクセスを許してしまったことを公表し、OpenAIの主張を裏付ける形になりました。

​Hugging Faceの調査結果によると、このAIエージェントは悪意あるデータセットを利用して2つのコード実行の脆弱性を突き、処理ワーカー上でコードを実行してクラウドおよびクラスターの認証情報を盗み出しました。これにより、社内の複数のクラスターを横断して水平移動することが可能になったということです。

同社のシステム内部に侵入した後、このAIモデルは「数多くの短命なサンドボックス群にまたがって数千件に及ぶ個別の操作を実行し、公開サービス上に自己移動型のコマンド&コントロール(C2)基盤を構築していた」といいます。

Hugging Faceはさらに、侵害を封じ込めてAIエージェントを排除しようと試みる中で、自らの対応は「最初に利用したホスト型モデルのガードレールによって制限される」一方、「攻撃者の側にはいかなる利用ポリシーによる制約も存在しなかった」ことが判明したと付け加えています。

Hugging Faceの創業者兼CEOであるClément Delangue氏は昨日、次のように述べています。「この24時間、私たちは@OpenAIのチームと緊密に協力してきました(感謝しています!)。そして、彼らの側に悪意があったわけではないと強く確信しています」「これらすべてが自律的に起きたというのは、実に驚くべきことです!」

OpenAIによると、今回の事案を受けて、AIエージェントに悪用された社内ホスト型のサードパーティ製ソフトウェアに存在するゼロデイ脆弱性を開示済みであり、今後の評価プロセスで同様の問題が再発しないよう、より強固な保護対策の追加に取り組んでいるとのことです。

OpenAIはまた、TanStackを狙ったサプライチェーン攻撃で従業員2名の端末が侵害され、npmおよびPyPIの数百のパッケージに影響が及んだことを受けて、5月に自社アプリケーション向けのコード署名証明書をローテーションしています。一方Hugging Faceは、2年前にハッカーによってSpacesプラットフォームが侵害された際、一部メンバーの認証シークレットを失効させています。