Palo Alto Networksの研究者は、重大なAIサプライチェーンリスクとなり得る新たな攻撃手法を発見し、その影響をMicrosoftおよびGoogle製品に対して実証するとともに、オープンソースプロジェクトへの潜在的な脅威も示しました。
「モデルネームスペース再利用」と名付けられたこのAIサプライチェーン攻撃手法は、Hugging Faceなどのプラットフォームから開発者が取得する削除済みまたは移管済みモデルに関連する名前を、攻撃者が登録することで成立します。
Palo Alto Networksはモデルネームスペース再利用について説明したブログ記事で、攻撃が成功すると攻撃者が悪意のあるAIモデルを展開し、任意のコード実行を達成できると述べています。
Hugging Faceは、事前学習済みモデル、データセット、AIアプリケーションのホスティングおよび共有のための人気プラットフォームです。開発者がモデルを利用したい場合、‘Author/ModelName’という形式でモデル名と開発者名を指定して参照または取得できます。
モデルネームスペース再利用攻撃では、攻撃者は所有者がアカウントを削除したり新しい名前に移管したりしたモデルを探し、古い名前が再登録可能な状態になっていることを利用します。
攻撃者は標的となる開発者名でアカウントを登録し、多くのプロジェクト、または特定のターゲットプロジェクトで参照される可能性が高い名前で悪意のあるモデルを作成できます。
Palo Alto Networksの研究者は、GoogleのVertex AIマネージド機械学習プラットフォーム、特に事前学習済みモデル用のModel Gardenリポジトリに対する潜在的リスクを実証しました。
Model GardenはHugging Faceからのモデルの直接デプロイをサポートしており、研究者は、攻撃者が削除されたがVertex AIによって依然としてリストされ検証されているプロジェクトに関連するHugging Faceアカウント名を登録することで、モデルネームスペース再利用攻撃を実行できた可能性があることを示しました。
広告。スクロールして続きをお読みください。
「この手法の潜在的な影響を実証するため、モデル内にペイロードを埋め込み、デプロイを実行するマシンから当社サーバーへのリバースシェルを開始するようにしました。Vertex AIがモデルをデプロイすると、モデルをホストしている基盤インフラ、具体的にはエンドポイント環境へのアクセスを得ることができました」と研究者は説明しています。
この攻撃は、MLおよび生成AIアプリケーション開発のためのMicrosoftのAzure AI Foundryプラットフォームに対しても実証されました。Azure AI FoundryもHugging Faceからのモデルデプロイを許可しており、攻撃の対象となり得ます。
「この攻撃ベクターを悪用することで、Azureエンドポイントに対応する権限を取得できました。これにより、ユーザーのAzure環境への初期アクセスを得ることができました」と研究者は述べています。
GoogleおよびMicrosoftのクラウドプラットフォームに対する攻撃を実証したことに加え、Palo Altoの従業員は、Author/ModelName形式の識別子を使ってHugging Faceモデルを参照しているために攻撃の影響を受ける可能性のあるオープンソースリポジトリも調査しました。
「この調査により、数千もの脆弱なリポジトリが明らかになり、その中には有名で高評価のプロジェクトも複数含まれていました」と研究者は報告しています。「これらのプロジェクトには、削除されたモデルや、元の著者が削除された移管済みモデルが含まれており、ユーザーはプロジェクトが通常通り機能し続けるため脅威に気付いていません。」
Google、Microsoft、Hugging Faceにはリスクが通知されており、Googleは悪用防止のために孤立モデルの毎日のスキャンを開始しました。
しかし、Palo Altoは「根本的な問題は、名前だけでモデルを取得するすべての組織にとって依然として脅威である」と指摘しています。この発見は、名前だけを根拠にモデルを信頼するのは不十分であり、AIエコシステム全体のセキュリティについて抜本的な見直しが必要であることを証明しています。」
モデルネームスペース再利用に関連するリスクを軽減するため、同社は、予期しない動作変更を防ぐために使用するモデルを特定のコミットに固定すること、モデルをクローンして信頼できる場所に保存し、サードパーティサービスから直接取得しないこと、リスクとなり得るモデル参照がないかコードを積極的にスキャンすることを推奨しています。