AIの推論トレースを盗み出す手口

興味深い研究が発表されました。「Stealing Reasoning Traces from Proprietary LLM APIs」という論文です。

概要: 大手大規模言語モデル（LLM）プロバイダーは現在、知的財産を保護し情報漏えいを防ぐため、モデルの段階的な推論過程、いわゆる思考連鎖(chain-of-thought)を非公開にしています。プロバイダーはこれらのトレースをサーバー側に保存するのではなく、暗号化されたテキストブロックとしてクライアントに返却し、クライアントは以降の各リクエストでそれを送り返す仕組みになっています。私たちは先行研究をもとに、あるアーキテクチャ上の脆弱性を特定しました。それは、これらの暗号化ブロックが、あるプロバイダーのエコシステム内であれば、異なるセッション・ユーザー・モデルの間で完全に互換性を持ち、相互に入れ替え可能であるという点です。私たちはこの互換性を悪用し、スケーラブルな復号ジェイルブレイク手法を開発しました。あるモデルから得た暗号化推論トレースを、同じプロバイダーが提供する、より脆弱で防御の甘い別モデルに注入することで、より高性能なモデル自体を直接ジェイルブレイクすることなく、そのトレースを平文でそのままデコード・出力させることに成功しました。この脆弱性は、4つの異なる攻撃手法を可能にします。第一に、蒸留対策の仕組みを回避し、攻撃者がプロプライエタリなモデルの推論内容を抽出できてしまいます。私たちはこれをAnthropic、OpenAI、Googleの各モデルで実証しました。第二に、大規模なプライベートデータの抽出を可能にします。開発者はセッションログを公開の場で共有することが多く、その際、暗号化ブロックの中身に個人情報が含まれていることに気づいていません。公開リポジトリから収集した315,320件の推論ブロックをデコードした結果、367件の個人識別情報(PII)と182件の認証情報を復元できました。第三に、モデルの最終的な出力が悪意あるリクエストを安全に拒否している場合であっても、推論過程の内部に隠れた危険な情報を意図せず露呈させてしまいます。第四に、攻撃者はこの欠陥を利用して、目に見えないプロンプトインジェクションを実行できます。悪意あるペイロードを暗号化ブロックの内部にまるごと埋め込み、公開されているエージェント型のロールアウトを汚染することが可能です。私たちは責任ある開示の方針に従い、クライアント側の推論を保護するための具体的な暗号技術およびシステムレベルの緩和策を提案しています。