Hugging Faceパッケージが単一ファイルの調整で悪用される

出典：Sidney Van den Boogaard via Alamy Stock Photo

Hugging Faceは、AIモデルとコンポーネント用のオープンソースストアであり、AIモデルが出力を人間が読める形にするために使用する「トークナイザー」レイヤーを介した攻撃に対して脆弱です。 

サイバー攻撃者はこの脅威ベクトルを使用してman-in-the-middle（MitM）アプローチを実装でき、.jsonファイルを使用してツール呼び出し引数をインターセプトし、URLトークンを攻撃者のインフラストラクチャ経由でリダイレクトすることができます。これにより、脅威アクターは「モデルがアクセスするすべてのURL、APIパラメータ、およびそれらのリクエストに埋め込まれた認証情報への可視性」を得られます。HiddenLayerのセキュリティ研究者Divyanshu Divyanshuが本日発表されたブログ投稿で説明しました。

Hidden LayerはSafeTensors、ONNX、およびGGUF形式を使用してローカルで実行されているHugging Faceモデルに対してその攻撃をテストしました。SafeTensorsはHugging Faceによって作成されたモデルであり、プラットフォームの事実上の標準モデルと見なされています。これら3つはすべてHugging Faceでサポートされており、さまざまなユースケースで人気があります。ただし、これはLlamaCPPやOllamaなどのオープンソースモデルを実行するために使用されるあらゆるプラットフォームに影響を与える可能性のある問題です。

また、攻撃はローカルファイルの変更に依存するため、ローカルで実行されるモデルのみに影響します。したがって、たとえばHugging FaceのInference API経由で実行されるモデルは影響を受けません。

Hugging Faceはコメント要求に対応しませんでした。

AIトークナイザーの欠陥により攻撃者がモデル出力をハイジャック可能に

トークナイザーはAIモデルの人間言語とコンピュータ言語の間の翻訳者の一種です。モデルの出力は整数IDのシーケンスとして始まり、出力がユーザーに到達する前にトークナイザーを通じてデコードされます。Hugging Faceは特に、多くのモデルでこのデコードプロセスのマッピングとして「tokenizer.json」という名前のトークナイザーライブラリファイルを使用しています。このファイルの各エントリには、単語、部分単語フラグメント、または制御トークンを表すことができるIDとペアになった文字列が含まれており、これらのライブラリには数万のエントリが含まれる可能性があります。HiddenLayerが発見したように、要するに、攻撃者がこの「tokenizer.json」ファイルを手に入れてたった1つの編集を加えるだけで、モデルが出力するあらゆるものを直接制御し、ユーザーのデバイスに足がかりを得る可能性があります。 

攻撃者がこの攻撃を実際に使用する主な方法は、オープンソースモデルを取得し、トークナイザーファイルを編集して、毒入りモデルをパブリックリポジトリにアップロードし、それをプルするすべてのダウンストリームユーザーに配布することです。「改ざんされたtokenizer.jsonは正当なものと構造的に同一であるため、特別な配信メカニズムなしに通常のモデル配布パイプラインを通過します」とDivyanshuは述べました。

この脅威ベクトルの特に厄介な側面は、.jsonファイルを介して毒入りされたモデルでも、ほぼ確実に正しく実行されることです。したがって、ブログは、パブリックリポジトリからモデルをデプロイする場合、それに添付されたトークナイザーもデプロイしていることを強調しています。

「Tokenizer.jsonは平文ファイルとしてすべてのモデルと一緒に提供されていますが、デプロイされたシステムが実際に何を行うかを決定します」とDivyanshuは述べました。「それを信頼されたコードベースの一部ではなく設定として扱うことが、この攻撃が存在するギャップです。」

トークナイザーハイジャック：サプライチェーンの脅威を無効化する

他のプラットフォームが影響を受ける可能性がありますが、トップAIオープンソースリポジトリとして、攻撃者がここのサプライチェーンリスクを利用することに成功した場合、Hugging Faceは爆心地の大部分に直面することになります。自分たちを保護したい人のために、HiddenLayerのセキュリティ研究責任者Kasimir Schulzは、Dark Readingに対し、Microsoftなどの企業によってリリースおよび署名されたようなモデルが安全であると証明されている場合、チェックサムと署名が機能すると述べています。「現在、この特定の問題のための公開されている自由に利用可能な自動スキャナーはありません」と彼は言います。

研究者は、組織が第三者モデルをスキャンし、可能な場合は本番環境で署名されたモデルを使用することを確認することを推奨しています。モデル署名は、AIおよび機械学習モデルに改ざんされていないことを確認するためにデジタル署名を適用する暗号プロセスです。

Hugging Faceは、すべてのオープンソースソフトウェアプラットフォームと同様に、さまざまな悪意のある活動に対処してきました。2024年に遡ると、JFrogはリポジトリで100以上の悪意のあるモデルがコードを実行できることを発見しました。それは防御者が無数のオープンソースAIモデルプラットフォームで対処し続けている現実です。また、独自の重大な脆弱性に対処する必要もありました。 

最新のDark Reading Confidentialポッドキャスト「USBペネトレーションテストのストーリーがどのようにしてバイラルになったのか」をお見逃しなく。20年前、Dark Readingは最初のブロックバスター作品を投稿しました—信用組合の駐車場の周りに仕掛けられた親指ドライブをばらまき、好奇心旺盛な従業員に残りの処理を任せたペンテスターによるコラムです。このエピソードは、その著者であるSteve Stasiukonisとともに、歴史的な作品を振り返ります。今すぐ聴いてください！