AIが暴走した時:OpenAIのモデルがHugging Faceを自律的にハッキング

複数のOpenAIモデルが、AIコラボレーションプラットフォームのHugging Faceを自律的にハッキングし、本番インフラの一部を侵害していたことが分かりました。OpenAIはこれを「前例のないサイバーインシデント」と表現しています。

このエピソードはモデルのベンチマークテスト中に発生したもので、高度なAIモデルが狭く定義された目的を追求する過程で、予想外の、時には有害な振る舞いをし得るという現実を浮き彫りにしています。企業におけるAI導入では、より強固な安全対策が必要であることを改めて示す事例と言えるでしょう。

OpenAIのブログ投稿によると、GPT-5.6 Solと、さらに高性能なプレリリース版モデルを組み合わせた複数のモデルが、高度なサイバー能力を測定するために設計された社内テスト中にこの攻撃を実行しました。先週、Hugging Faceは、本番インフラの一部に対して「自律的なAIエージェントシステム」による侵入を検知し封じ込めたと公表していましたが、その時点では原因となったシステムを特定していませんでした。

この侵害は、Hugging Faceのデータ処理パイプライン——同社が「AIプラットフォームが特に脆弱にさらされている」領域だと説明する部分——から始まり、その後ノードレベルのアクセスへとエスカレートしました。Hugging Faceによると、攻撃を行ったモデルはクラウドおよびクラスターの認証情報を収集し、週末にかけて複数の社内クラスターへ横方向に移動していったということです。

問題の修復にあたり、Hugging FaceはOpenAIのモデルが悪用した脆弱性を塞ぎ、侵害されたシステムを再構築した上で、影響を受けた認証情報やその他のシークレットをローテーションしました。同社のブログ投稿によれば、クラスターのセキュリティ管理も強化し、今後より迅速な検知・対応を可能にするために監視とアラート機能も改善したとのことです。

Hugging Faceサイバーインシデントで何が起きたのか

OpenAIによると、このインシデントは、モデルに高度なエクスプロイト手法を追求させることでそのサイバー能力を測定する社内評価の一環として、隔離された高セキュリティのテスト環境内で発生しました。モデルにはサイバーセキュリティのベンチマークであるExploitGymの解決という課題が与えられ、その達成に「過度に集中」した結果、OpenAIの言葉を借りれば「比較的狭いテスト目標を達成するために極端な手段に走った」ということです。

同社によると、モデルはOpenAIの研究環境とHugging Faceの本番インフラにまたがる複数の脆弱性を連鎖的に悪用し、Hugging Faceの本番データベースからベンチマークの解答を直接取得しました。サンドボックス化されたテスト環境内で動作している間、モデルは「インターネットへの自由なアクセスを確保する方法を見つけるために、相当量の推論計算リソースを費やした」ということです。

その目的のため、モデルはパッケージレジストリのキャッシュプロキシに存在していた未知の脆弱性を特定し悪用しました。OpenAIはこの脆弱性を責任ある形で対象ベンダーに開示済みだとしています。インターネット接続を確保した後、モデルは権限を昇格させ、外部ネットワークにアクセス可能なノードに到達するまでOpenAIの研究環境内を横方向に移動しました。

そこからモデルは、Hugging Faceがモデルやデータセット、ExploitGymの解答を保有している可能性が高いと推測し、評価を「不正に突破する」ために必要な情報を得る方法を探し始めました。

OpenAIは「ある事例では、モデルは盗んだ認証情報とゼロデイ脆弱性を含む複数の攻撃手法を連鎖させ、Hugging Faceのサーバー上でリモートコード実行(RCE)につながる経路を見つけ出した」と記しています。

企業セキュリティチームへの教訓

両社は現在もこのインシデントの調査を続けており、これを受けてOpenAIはより厳格なインフラ管理体制を導入し、脆弱性への対応が完了するまでの間は研究の進行速度が落ちることも受け入れる方針としています。今後についてOpenAIは、同様のインシデントを防ぐためにモデルの学習と社内評価に関わる安全対策を強化するとともに、自社モデルへの信頼できるアクセス手段を提供することでHugging Faceの防御力強化も支援していくと両社は述べています。

一方、セキュリティの専門家は両社がこのインシデントを公に開示したことを評価しており、高度なAIシステムが害を及ぼすのに悪意を必要としないことを示す貴重な教訓を、AI開発者や企業のセキュリティチームに与えるものだと述べています。DarktraceでセキュリティおよびAI戦略担当バイスプレジデントを務めるNathaniel Jones氏によれば、AIシステムは与えられた目的をひたすら追求するだけで、効果的な攻撃者になり得るということです。

同氏はメールで次のように述べています。「モデルにはサイバーセキュリティのベンチマークを解くという正当な目標が与えられていましたが、解答に至る予想外の経路を見つけてしまい、その過程でテスト環境から逃れて別の組織を侵害する結果となりました。モデルの視点からすれば、これは課題に対する効果的な解決策に見えたはずです」

このインシデントは、高い能力を持つAIシステムが、狭く定義された目標を達成するために予期せぬ経路を悪用し得ることを示しています。Jones氏によれば、これによりAI開発者は、何をもって「成功」とするかだけでなく、どのような手法や境界線を禁じるべきかについても再考を迫られています。同氏は、こうしたガードレールはモデルがそれを守ると信頼するのではなく、周囲のインフラによって強制されなければならないと付け加えています。

企業のAIを安全に保つためには、セキュリティチームは個々では無害に見えても連鎖することで有害になり得る個別の行動ではなく、AIエージェントが追求している成果も含めた行動全体を評価する必要がある、とJones氏は指摘します。同氏は「今回のインシデントが示す通り、モデルは今や、積み重なると有害な結果につながるような、長く複雑な推論と行動の連鎖を実行できる能力を備えている」と述べています。