OpenAIのモデルテストがHugging Faceへの侵入の引き金だったと同社が発表

大手AIコードプラットフォームのデータパイプラインを汚染したサイバー攻撃は、OpenAIのChatGPTを使って実行されたものだったことが、火曜日に同社から明らかにされました。

先週、AIコードの共有・作業用プラットフォームであるHugging Faceは、外部の攻撃者がデータ処理パイプラインを侵害したと公表しました。7月21日付のブログ投稿によると、攻撃者はデータセットを汚染して処理ワーカー上でコードを実行させ、最終的にノードレベルのアクセス権を獲得してクラウド認証情報を窃取したとのことです。

ブログによれば、この攻撃が注目に値するのは、自律型AIシステムによって実行されたとみられる点です。同システムは「一時的なサンドボックスの群れにまたがって数千に及ぶ個別の操作を実行し、公開サービス上に自己移動型のコマンド・アンド・コントロールを構築していた」といいます。

当時Hugging Faceは、攻撃にどのLLMが使われたかは明らかではないとしつつ、自社の商用モデルを使って攻撃の一部を再現しようとしたものの、ガードレール機能によって阻まれ失敗したと述べていました。

今回のインシデントとその最終的な影響については現在も調査が続いており、Hugging Faceは法執行機関に報告済みであり、詳細を把握するため第三者のサイバーセキュリティ専門のフォレンジック企業とも連携していると述べています。

「今回の経験は、備えておくべき盲点があることを示しています」と同社は記しています。「攻撃者のエージェントを動かしていたモデルがジェイルブレイクされたホスト型モデルだったのか、それとも制限のないオープンウェイトモデルだったのかは分かっていません。いずれにせよ、攻撃者はいかなる利用規約にも縛られていませんでしたが、我々自身のフォレンジック作業は、最初に試したホスト型モデルのガードレールによって阻まれました」

そして今回、OpenAIは自社のモデルの一つが攻撃に使われたことを認めました。

「調査の結果、今回のインシデントは、評価目的でサイバー関連の拒否機能を弱めたGPT-5.6 Solおよびそれよりもさらに高性能な未公開のプレリリースモデルを含む、複数のOpenAIモデルの組み合わせによって引き起こされたことが判明しました。これらのモデルは、サイバー能力に関するベンチマークのために社内でテストされていたものです」と同社は火曜日のブログ投稿で説明しています。

モデルの潜在能力を全面的に評価するため、チームはOpenAIのモデルが高リスクなサイバー活動を行うのを通常防いでいる本番用の分類器を無効化していました。こうした安全策がない状態で、モデルはHugging Faceのようなレジストリを通じてソフトウェアパッケージをインストールできてしまいました。

このモデルは、OpenAIのシステムおよびHugging Faceの本番インフラの双方から脆弱性を収集し、それらを連鎖させて悪用しました。

OpenAIは、インフラ設定に関する新たな管理策を導入していると述べています。これは「脆弱性が修正されるまでの間、研究のスピードを犠牲にする」ことになるものだといいます。

また、Hugging FaceはOpenAIの「Trusted Access for Cyber」プログラムにも加えられました。これにより、Daybreakのようなより高度なモデルを利用して、自社システム内に存在する他のAI発見型脆弱性を洗い出せるようになります。