初めて公に記録された、自律型AIがエンドツーエンドで実行したサイバー攻撃は、OpenAIのベンチマークテストがサンドボックスから脱走した事案であり、そのAIはHugging Faceへの侵害を引き起こしました。
Hugging Faceおよびクラウドセキュリティアライアンス(CSA)のCISOコミュニティ数百名の協力を得てまとめられたインシデント事後分析報告書の中で、この非営利団体はセキュリティ責任者にとって最も重要なポイントを整理し、今後取るべき対応について助言しています。
攻撃はどのように進行したか
OpenAIは、GPT-5.6 Solともう一つの(非公開の)モデルを使い、「ExploitGym」と呼ばれるサイバー能力評価ベンチマークを実施していました。このテストでは、両モデルの安全ガードレールが解除された上で、インターネットへの接続がパッケージプロキシ経由のみに限定されたサンドボックス内に閉じ込められていました。
両モデルは、まさに学生がやりそうなことをしました。以前に共有された答えを探し始めたのです。自分たちが閉じ込められていることに気づくと、プロキシ内にゼロデイ脆弱性を発見してオープンなインターネットへと脱出し、ベンチマークの解答がHugging Face上に存在するかもしれないと推論しました。そして、データセット処理パイプラインの複数の脆弱性を連鎖させてリモートコード実行に持ち込み、クラウドおよびクラスターの認証情報を収集した上で、テストの答えを求めて内部システム内を横展開していきました。
報告書によると、この侵入は約4日間続きました。偵察に2日、静観の1日を挟み、最終日に激しい活動が行われたとされています。
人間がこの問題の解き方をモデルに指示したわけではありませんでしたが、両モデルは最終的に、Hugging Faceの非公開リポジトリから(ExploitGymではなく)CyberGymベンチマークの解答データセットを3つ、部分的に抽出するに至りました。
Hugging Faceは、OpenAIから連絡が来るより先に、自力でこの侵害を検知して封じ込めました。ただし、その過程で大きな問題に直面しました。西側の主要なクローズドウェイト最先端モデルは、攻撃の再構築を手伝うことを拒否したのです。これは、これらのモデルのガードレールがインシデント対応者と攻撃者を見分けられなかったためです。
そのため対応チームは、自社インフラ上でローカルに実行した中国製のオープンウェイトモデルを頼りに、17,000件を超えるログイベントを処理し、攻撃のタイムラインをマッピングし、痕跡を特定し、どの認証情報が触れられたかを確認し、被害の全容を把握しました。
オープンウェイトをめぐる論争
今回の事案が示したのは、ガードレール付きの商用モデルから離れなければ、効果的な防御は不可能だったという事実です。この点は、月曜日にOpen Secure AI Allianceの設立を発表した際にNvidiaが指摘したポイントの一つでもあります。同社は同団体の使命を「防御側の誰もが信頼し制御できる、オープンで最先端のツールを確実に利用できるようにすること」だと述べています。
Nvidiaは次のように述べています。「(Hugging Faceの)今回のインシデントは、実務上の真実を浮き彫りにしました。防御側が自社インフラ上で先進的なAIを検証・調整・実行できなければ、まさにスピードが最も重要になる瞬間に、対応能力が制約されてしまうのです」。
「サイバーセキュリティにおいて、オープンなモデルとオープンなハーネスが不可欠なのは、防御能力を民主化し、防御側の透明性を高め、データを保護しながらサイバー防御を可能にし、カスタマイズ可能でローカライズされた制御によって最先端のクローズドモデルを補完してくれるからです」
Open Secure AI Allianceの加盟団体や、その他の組織・企業(OpenAIまでも!)は、アメリカの政策立案者に向けた公開書簡に署名しました。この書簡は、長期的なAIの安全性とセキュリティを確保しつつ、競争力を強化し「アメリカの技術的リーダーシップを拡大する」ためにも、オープンモデルへの拙速な規制導入を避けるよう求めています。
ただし、Allianceの基本理念に誰もが賛同したわけではありません。
Anthropicの最高経営責任者(CEO)であるダリオ・アモデイ氏は、同日反応を示しました。危険な能力を持たないオープンウェイトモデルが公共の利益になるという点や、自社がこれまでオープンモデルの禁止を主張したことはないという点には同意する一方、オープンなアクセスが必ずしも安全対策を容易にする、あるいは攻撃者よりも防御側の助けになるという書簡の主張については否定しました。
同氏は、攻撃側と防御側の間に強い非対称性が存在するケースでは、むしろ逆の状況が起こる可能性も少なくとも同程度にあると主張し、オープンモデルがリスクを高めるかどうかは、厳密なリリース前テストによって判断されるべきだと述べています。
一方で、こうした議論をよそに、オープンなエコシステムは拡大を続けています。Moonshot AIは、Kimi K3モデルの重みと技術報告書をHugging Face上で公開しました。これはまさに、現在アメリカの政策的懸念の中心にある、高性能な中国製オープンモデルの典型例と言えるでしょう。
AIの関与をどう見抜いたか
CSAの報告書は、Hugging Faceへの攻撃において自律型エージェントの関与を裏付けた行動パターンを列挙しています。すでに成功していた操作を再度試行する、見事な技術的手腕の直後に無意味なコマンドを実行する、大規模並列処理を行う、人間なら決して取らない非効率な経路をたどる、幻覚によって生成された何千行ものログテキスト、そして暗号鍵を放置するような粗雑なOPSEC(運用上のセキュリティ)などです。
こうした兆候は、モデルやハーネスの進化に伴って今後変化していく可能性はあるものの、現時点では攻撃者の「正体」を特定する手がかりとして有用です。
一貫して浮かび上がるテーマは、「暴走した」エージェントの挙動はもはや例外ではなく常態であるということ、そして防御側はマシンと同じ速度で対応しなければならないということです。
この事後分析報告書は、今回のインシデントを、組織が同時に直面する2つの問題として捉えています。一つは他者の暴走エージェントからの防御、もう一つは自組織のエージェントを暴走させないための対策です。
報告書では、防御側とエージェント運用側の双方に向けた具体的な助言に加え、来週・来月・来四半期にそれぞれ何を実施すべきかを示す段階的な行動ロードマップも提示されています。
エージェントが暴走した場合、誰が責任を負うのか
報告書で取り上げられている論点の一つが、組織が運用する自律型エージェントによって偶発的に生じた損害に対する法的責任の所在です。
OpenAIとHugging Faceは、Hugging FaceがOpenAIの「Trusted Access」プログラムに参加する形で今回の一件を決着させましたが、次に評価対象のモデルが封じ込めを脱出した際に誰が代償を払うのかという問題は、未解決のまま残されています。
報告書は次のように指摘しています。「世界的に見て、自律型システムに関する法的な枠組みはいまだ定まっていません。厳格なガバナンス、明文化された目的、そして意味のある人間による監督を実施しない組織は、過失に対する重大な法的責任を負うリスクを抱えることになります」。そのうえで、エージェント運用者に対し「こうしたエージェントを、受動的なソフトウェアとしてではなく、事業運営における特権を持つ能動的な参加者として扱うべきだ」と助言しています。
翻訳元: https://www.helpnetsecurity.com/2026/07/28/hugging-face-breach-ciso-playbook-open-weight-llms/
