暗号化だけではLLMとのやり取りにおけるプライバシー保護はもはや十分ではなく、メタデータのパターンが悪用されることで機密性の高い話題や企業の意図が推測される可能性があります。
マイクロソフトの研究者は、Whisper Leakと名付けられた新たなサイドチャネル攻撃を明らかにしました。これは、基になるテキストにアクセスしなくても、ユーザーと言語モデル間の暗号化された会話のトピックを明らかにすることができます。
この発見は、AIセキュリティにおける新たな盲点を浮き彫りにしており、暗号化だけではモデルとのやり取りにおけるプライバシーが保証されなくなっていることを示しています。
マイクロソフトのDefender Security Researchチームは、攻撃者がネットワークパケットのサイズやタイミングなどのメタデータを利用する大規模言語モデルを悪用できる立場にあると述べています。たとえば、インターネットサービスプロバイダー層の国家主体、ローカルネットワーク上の人物、同じWi-Fiルーターに接続している人物などが、暗号化された通信を観察し、ユーザーのプロンプトが特定の話題かどうかを推測することができます。
従来のデータ漏洩やモデルリークとは異なり、Whisper Leakは暗号化自体の欠陥ではなく、ネットワーク通信のサイドチャネルを悪用します。
LLMサービスは、応答全体を一度に生成するのではなく、1トークンずつ段階的に応答を生成します。また、AIチャットボットとの通信は多くの場合、TLS（HTTPS）で暗号化されており、サーバーの真正性と暗号化によるセキュリティが確保されています。
しかし、トランスポート層セキュリティは通信内容自体を暗号化する一方で、送信されるデータチャンクのサイズを漏らしてしまいます。トークンごとに応答をストリーミングするLLMの場合、このサイズ情報から生成されるトークンのパターンが明らかになります。
パケット間のタイミング情報と組み合わせることで、これらの漏洩パターンがWhisper Leak攻撃の基盤となり、十分な情報が漏洩することでトピック分類が可能になると、Microsoft Defender Security Teamは技術報告書で説明しています。
「これらは通常のデータ漏洩ではありません。ファイルを直接盗むのではなく、データの周囲で何が起きているかを観察します」とDevroop Dhar氏（Primus Partners共同創業者兼MD）は述べています。「暗号やコードを破る必要はありません。その代わりに、タイミングや遅延、システムがどれだけ早く応答するかなどの小さな手がかりを探し、そこから内部で何が起きているかを理解しようとします。非常に技術的で、発生時に発見するのは困難です」と彼は付け加えました。
マイクロソフトによる実証実験の内部
マイクロソフトの研究者は、攻撃者が暗号化された通信を観察できるが復号はできないという現実的なシナリオをシミュレーションしました。実証実験のターゲットトピックには「マネーロンダリングの合法性」が選ばれました。
ポジティブサンプルとして、このトピックに関する質問の意味的に類似した100パターンを言語モデルで生成しました。ノイズとなるネガティブサンプルとしては、Quora Questions Pairデータセットから無作為に11,716件の無関係な質問を抽出し、多様な話題をカバーしました。
データ収集後、LightGBM、Bi-LSTM、BERTベースのモデルを用いて、タイミングのみ、パケットサイズのみ、または両方のモードで評価しました。
研究チームは、大手プロバイダーの28種類の人気LLMを対象に攻撃を実演し、ほぼ完璧な分類精度（多くの場合、精度-再現率曲線下の面積（AUPRC）98%以上）と、極端なクラス不均衡（ノイズ対ターゲット比10,000:1）でも高い精度を達成しました。多くのモデルで、センシティブな話題の特定において100%の精度を達成し、ターゲット会話の5～20%を回収できたと報告書は述べています。
漏洩対策
この発見はOpenAI、Mistral、マイクロソフト、xAIに共有され、リスクを最小限に抑えるための対策が実施されました。サイバー攻撃の有効性を低減するため、OpenAIおよび後にMicrosoft Azureは、各応答に可変長のランダムなテキスト列を追加しました。
この難読化フィールドにより、各トークンの長さが隠され、攻撃の有効性が低下しました。同様に、Mistralは「p」と呼ばれる新しいパラメータを導入し、同様の効果を持たせました。
CISOの次なる課題
この攻撃が会話の正確なプロンプトや内容を暴露しなくても、その主題や意図を正確に分類できるため、企業にとって大きなリスクとなります。
「LLMが公開データだけを扱うなら問題ありません。しかし、顧客記録や内部文書、財務データなどを処理する場合は、わずかな漏洩でも問題です。特に自社でAIモデルを運用したり、クラウドAPIと接続したりする企業にとっては大きな懸念です。銀行、医療、法律事務所、防衛など、データの機密性が非常に高い分野が該当します」とDhar氏は述べています。
この問題に対処するのはAIプロバイダー側ですが、マイクロソフトの研究者は、信頼できないネットワーク上でAIチャットボットを使って極めて機密性の高い話題を議論しないこと、追加の保護層としてVPNサービスを利用すること、すでに対策を実施しているプロバイダーを選ぶこと、大規模言語モデルプロバイダーの非ストリーミングモデルを利用することを推奨しています。
Dhar氏は、ほとんどのAIセキュリティチェックリストにはサイドチャネルについての記載すらないと指摘します。CISOは、自分たちのチームやベンダーに対して、この種の潜在的な問題をどのようにテストしているかを問い始める必要があります。
「また、防御のためにはモデルを分離し、タイミングデータが予測できないようにランダムな遅延を加え、不審または繰り返しの問い合わせ（プロービングのようなもの）を監視する必要があります。基本的に、AIパイプラインを重要なサーバーと同じように扱い、ログを取る、セグメント化する、暗号化されているからといって不可視だと決めつけないなど、いくつかの簡単なステップを踏むことが重要です」と彼は付け加えました。今後は、クラウドAPIが主流になったときと同様に、適切な「AIペンテスト」が必要になるでしょう。同じパターンで、技術が成熟すると攻撃者が創造的になり、セキュリティは常に後追いになると彼は指摘しています。
