Hugging Face、自律型AIエージェントによる攻撃を公表

Hugging Faceは、攻撃者が自律型AIエージェントを用いた攻撃によって同社の本番環境インフラに侵入したことを公表しました。 

攻撃者は、同社のデータ処理パイプラインに存在する脆弱性を悪用し、内部のデータセットや認証情報にアクセスしました。 

調査は現在も進行中ですが、同社は一般公開されているモデル、データセット、Spacesが改ざんされた証拠は見つかっていないとし、ソフトウェアサプライチェーンについても健全性が確認されたと説明しています。

Hugging FaceにおけるAIエージェント攻撃の要点 

• Hugging Faceは、データ処理パイプラインの脆弱性を突いて本番環境インフラに侵入した自律型AIエージェントによる攻撃を公表
• 攻撃者は悪意あるデータセットを利用してコード実行を実現し、クラウド認証情報を窃取した上で複数の内部クラスターへ横展開
• Hugging Faceによれば、今回の攻撃は自律型AIエージェントによって行われ、短命なサンドボックス上で数千件のアクションを実行し、自己移動型のコマンド&コントロール（C2）基盤を利用
• 同社は一般公開されているモデル、データセット、Spacesの改ざんは確認されておらず、ソフトウェアサプライチェーンも汚染されていないと説明
• 今回の事案は、AI開発パイプラインの保護、認証情報の防御、そしてますます自動化が進むAI主導型攻撃への備えの重要性を浮き彫りに

Hugging FaceにおけるAIエージェント攻撃の手口 

Hugging Faceは、5万を超える組織が利用し、4万5,000以上のモデルをホストするオープンソースのAIプラットフォームです。 

同社によると、攻撃者はプラットフォームのデータ処理パイプラインを標的にすることで、本番環境インフラへのアクセスを獲得しました。

侵入の発端は、悪意あるデータセットが2つのコード実行の脆弱性を悪用したことにありました。データセット設定におけるテンプレートインジェクションの欠陥と、リモートコードデータセットローダーの脆弱性です。 

これら2つの脆弱性を組み合わせることで、攻撃者は処理ワーカー上でコードを実行でき、環境内への最初の足がかりを得ました。

自律型AIエージェントによる攻撃はどのように拡大したのか 

最初のアクセスを獲得した後、攻撃者はクラウドおよびクラスターの認証情報を窃取し、複数の内部クラスターへと横展開しました。 

Hugging Faceによると、今回の攻撃キャンペーンは自律型エージェントのフレームワークを使って実行され、数多くの短命なサンドボックス環境をまたいで数千件の個別アクションを実行する一方、公開サービスを経由して自己移動型のコマンド&コントロール基盤を維持していたといいます。 

同社は、こうした活動は、AIの能力が進化し続ける中でセキュリティ研究者が議論してきた「自律的攻撃者」のシナリオに合致すると述べています。

Hugging Faceは、自律型エージェントを動かしていた大規模言語モデル（LLM）がどれであったか、また攻撃者がホスト型モデルと制限のないオープンウェイトモデルのどちらを利用していたかについては、まだ特定できていません。 

Hugging Faceのインシデント対応と調査 

同社は調査が現在も進行中であるとし、パートナーや顧客のデータに影響が及んだかどうかについても評価を進めていると述べています。 

これまでのところ、一般公開されているモデル、データセット、Spacesが改ざんされた証拠は見つかっておらず、ソフトウェアサプライチェーンについても健全性が確認されたとしています。

今回の事案を受けて、Hugging Faceは脆弱なコード実行経路を封鎖し、攻撃者を排除した上で影響を受けたインフラを再構築し、侵害された認証情報をローテーションしました。 

同社はさらに、不正な活動を検知する機能を強化し、外部のフォレンジック専門家を起用するとともに、法執行機関にも今回の事案を報告しました。

技術的な対応にとどまらず、Hugging Faceは防御側にとってより広範な教訓も強調しています。 

同社は、ホスト型サービスに依存したり機微なフォレンジックデータを外部にさらしたりすることなく、インシデント調査を支援するための社内AIモデルを保持しておくことを推奨しています。 

AIエージェントによる攻撃のリスクを低減するには 

AI開発プラットフォームを利用する組織は、データ処理パイプラインや認証情報管理に関するセキュリティ対策を見直すとともに、ますます自動化が進む攻撃手法への備えを進める必要があります。  

• AI開発・データ処理パイプラインにおいて既知のコード実行の脆弱性をパッチ適用する
• AIワークフローで処理する前に信頼できないデータセットを検証し、サンドボックス化する
• 処理ワーカーやサービスアカウントの権限を制限し、可能な限り短命な認証情報を利用する
• 情報漏えいが疑われる場合はアクセストークンや認証情報をローテーションし、最近のアカウント活動を確認して不正アクセスの有無を調べる
• クラウドおよびコンテナ基盤全体で、不審なコード実行や認証情報へのアクセス、横展開の兆候をAI環境内で監視する
• 認証情報を安全に保管し、AIワークロードが利用できる長期有効なトークンを最小限に抑えることでシークレット管理を強化する
• AIを活用した攻撃シミュレーションを用いてインシデント対応計画をテストし、バックアップおよび復旧手順を検証する

これらの対策を組み合わせることで、組織はリスクへのエクスポージャーを低減しつつ、進化し続けるAI関連の脅威に対する運用面での回復力を高めることができます。

組織が学ぶべきAIセキュリティの教訓 

組織がAIプラットフォームの活用を拡大し続ける中、セキュリティ責任者は、既存の管理体制がAI開発パイプラインや認証情報、それを支えるインフラを十分に保護できているかどうかを評価する必要があります。 

今回のような事案は、他の重要な本番システムに適用しているのと同じガバナンス、監視、インシデント対応能力をAI環境にも適用し、保護していく必要性を浮き彫りにしています。 

技術的な防御の強化にとどまらず、組織はエンタープライズ全体でAIリスクを管理するために必要なガバナンス体制についても、より広い視野で検討を進めています。