Hugging Face、自律型AIエージェントに絡む情報漏えいを公表

人工知能リポジトリを運営するHugging Faceは、自律型AIエージェントシステムを用いた攻撃者に本番環境インフラを侵害され、内部データセットと認証情報にアクセスされたことを明らかにしました。

Hugging Faceは、主要AIプロバイダーが提供する45,000件以上のモデルへのアクセスを提供するオープンソースのAI・機械学習プラットフォームで、50,000を超える組織に利用されています。

同社は、パートナーや顧客のデータが影響を受けたかどうかについて現在も調査を続けており、影響を受けた関係者には直接連絡するとしています。また、公開されているモデルやデータセット、Spacesが改ざんされた形跡は現時点で見つかっておらず、ソフトウェアサプライチェーンについては「クリーンであることが確認された」としています。

今回の侵入は、Hugging Faceのデータ処理パイプラインを起点としていました。攻撃者は悪意のあるデータセットを使って2件のコード実行の脆弱性を突き、処理用ワーカー上でコードを実行しました。これにより、クラウドおよびクラスターの認証情報が盗まれ、複数の内部クラスターへの横展開が行われました。

Hugging Faceは木曜日に公開したインシデント開示の中で、次のように述べています。「この攻撃は自律型エージェントフレームワーク(エージェント型セキュリティ研究用ハーネスをベースに構築されたとみられるが、使用されたLLMは依然不明)によって実行され、多数の短命なサンドボックス群にまたがって数千件もの個別アクションが行われました。また、コマンド&コントロールは公開サービス上で自己移行する形で展開されていました。これは業界がかねてより予測してきた『エージェント型攻撃者』のシナリオと一致します」

今回の侵害を受け、Hugging Faceは脆弱性のあったコード実行経路(データセット設定内のテンプレートインジェクションと、リモートコードデータセットローダー)を塞ぎ、攻撃者を排除した上で、侵害されたノードを再構築し、影響を受けたすべての認証情報を失効・ローテーションしました。

さらに、悪意ある活動を検知する体制を強化し、本件を法執行機関に報告するとともに、現在は外部のフォレンジック専門家と協力して侵害の影響範囲を調査しています。

Hugging Faceは次のようにも述べています。「攻撃者のエージェントを動かしていたのがどのモデルなのか、脱獄(ジェイルブレイク)されたホスト型モデルなのか、それとも制限のないオープンウェイトモデルなのかは分かっていません。いずれにせよ、攻撃者は利用ポリシーに一切縛られていなかった一方で、我々自身のフォレンジック作業は、最初に試したホスト型モデルのガードレールによって阻まれました」

「防御側にとっての実践的な教訓は、こうです。インシデントが発生する前に、自社インフラ上で動かせる十分な性能を持つモデルを検証済みの状態で用意しておくこと。それによってガードレールによる作業停止を回避できるだけでなく、攻撃者のデータや認証情報が自組織の環境外に流出するのも防げます」

Hugging Faceは利用者に対し、アクセストークンをローテーションし、不審な兆候がないか最近のアカウント活動を確認するよう呼びかけました。また、AIを悪用した攻撃への対策について、今後も調査結果を公開していく方針だとしています。

今回はAIエージェントとの関連が確認された、同プラットフォーム初のセキュリティインシデントですが、Hugging Faceがここ数年で情報漏えいを公表したのはこれが初めてではありません。

同社は2年前にも、Spacesプラットフォームがハッカーに侵害されたのを受け、一部メンバーの認証シークレットを失効させ、きめ細かいアクセス権限を持つトークンへの切り替えを促していました。

脅威アクターはここ数年、同プラットフォームを悪用して悪意のあるAI/MLモデルや情報窃取型マルウェアを拡散させたり、数千種類ものAndroidマルウェアの亜種を拡散させたりしてきました。