OpenAIのモデルが制約を突破し、大手AIアプリケーションライブラリをハッキング

OpenAIの大規模言語モデル2種類（そのうち1つは一般公開前のもの）が先週、自らに課された制約を突破し、AIアプリケーションライブラリのHugging Faceに自律的に侵入していたことが明らかになりました。

これは前例のない出来事で、LLMが重要なテストで好成績を収めるための情報を盗み出そうとしたというものです。この一件は、AI業界でますます強力になりつつあるツールが抱える危険性を浮き彫りにしました。

「私たちはこのインシデントを、最先端のサイバー能力が関わる前例のないサイバーインシデントと捉えており、それに応じた対応を行っています」と、OpenAIは火曜日のブログ投稿で、自社モデルがこの攻撃の原因であることを認めた上で述べました。この攻撃については、Hugging Faceが7月16日に発表していました。

OpenAIによると、この攻撃はGPT-5.6 Solおよび「それを上回る能力を持つ未公開の事前リリースモデル」の性能を「高度に隔離された環境」で評価している最中に発生しました。モデルがインターネットにアクセスできないようにする対策が講じられていたにもかかわらず、両モデルはその方法を見つけ出しました。その手段の一つが、OpenAIが使用していたサードパーティ製ツールに存在するゼロデイ脆弱性の悪用でした。その後、両モデルはHugging Faceのライブラリに、攻撃ベンチマークツールであるExploitGymで高得点を取るために利用できる情報が保管されていることを突き止め、ゼロデイ脆弱性や窃取したパスワードなど複数の手法を駆使してHugging Faceのサーバーに侵入しました。

「Hugging Faceのセキュリティチームおよびエージェントが自社インフラ上でこの活動を検知・阻止し、私たちのチームが連絡を取った時点で、Hugging Face自身のオープンソースモデルを使った封じ込めとフォレンジック調査の再構築にすでに着手していました」とOpenAIは述べています。「私たちは現在もHugging Faceと積極的に連携し、このインシデントの調査を続けています」

Hugging Faceは先週、自社のサプライチェーンやホストしているユーザー生成のAIツールが改ざんされた形跡はないと発表していました。火曜日には、同社の最高経営責任者クレマン・デランゲ氏がOpenAIの協力に謝意を示しました。デランゲ氏はSNS上で述べています。「彼ら側に悪意があったとは考えていません」「これがすべて自律的に起きたというのは、実に驚くべきことです」

より厳格なガードレール

今回の攻撃を受け、OpenAIはテストインフラに対して「厳格な管理体制」を導入すると述べており、その一部は同社の研究の進行速度を遅らせることになるといいます。また、Hugging Faceを自社の非公開モデル評価プログラムに招待し、モデルが悪用したサードパーティ製ツールの脆弱性を開示したほか、能力評価テストにおける新たな安全対策の検討も開始しています。

「今回のインシデントは、モデルのアライメントや評価時のサイバー防御、そして内部テスト中のモニタリングをさらに強化する必要性を示しています」とOpenAIは述べています。

オープンソースモデルの評価を裏付ける結果に

今回の攻撃は、サイバー防御における米国製商用フロンティアAIモデルの限界も浮き彫りにしました。Hugging Faceは報告書の中で、攻撃の分析に米国製モデルを使用できなかったと述べています。その理由は、分析には「大量の実際の攻撃コマンド、エクスプロイトのペイロード、C2（コマンド・アンド・コントロール）の痕跡」をモデルに入力する必要があったものの、「こうした要求はプロバイダー側の安全対策によってブロックされてしまい、それらはインシデント対応者と攻撃者を区別できない」ためだったとしています。

そこでHugging Faceは代わりに、中国製オープンソースAIモデルGLM 5.2の自社ホスト版インスタンスを使用しました。

「攻撃者はいかなる利用ポリシーにも縛られていませんでした」とHugging Faceは述べています。「一方で私たちのフォレンジック作業は、最初に試したホスト型モデルの安全対策によって阻まれてしまいました」