セキュリティ研究者らは、軽量なAI安全フィルターをすり抜ける悪意ある指示の潜伏を可能にするプロンプト難読化技術「PuzzleMask」を公表しました。
この手法は、ポリシー違反となる指示を、一見ごく普通に見える平易な英文の中に隠すというものです。
従来のプロンプト隠蔽手法とは異なり、PuzzleMaskはBase64テキストや不可視文字、絵文字、変則的な書式、エンコード文字列などには一切依存しません。
代わりに、高速に動作する「ゲートキーパー」モデルには無害に見えるものの、より高性能なターゲットモデルには理解できるよう、自然言語のテキストを緻密に構成して利用します。
研究者らによると、PuzzleMask自体はジェイルブレイク(脱獄)ではないとのことです。ターゲットモデルに内部の安全規則を直接無視させるものではありません。
しかし、攻撃者がこの隠蔽ペイロードを別のジェイルブレイク攻撃と組み合わせることで、最初のセキュリティ審査ステップが危険な入力を検知できずに通過させてしまう可能性が高まります。
多くのAIアプリケーションは、2段階のセキュリティ設計を採用しています。まず小型で高速なLLMがユーザーのプロンプトを検査し、安全かどうかを判定します。承認された場合、そのプロンプトはより強力なモデルへと送られ、そこでより長い推論やツールの利用、コードインタープリタへのアクセスなどが行われます。
PuzzleMaskは、この2つのモデルの間に生じる隙間を狙います。
攻撃者は、隠された指示を埋め込んだ文章の「ラッパー」を作成します。このラッパーは、埋め込まれたメッセージを見抜くためにより多くの推論労力や注意力、あるいはツールを用いた分析を要するように設計されています。
軽量なゲートキーパーには通常の文章にしか見えず、安全だと分類されてしまうかもしれません。しかし後段のより強力なモデルは、その隠された構造を識別し、ペイロードを復元して追加の指示として処理してしまう可能性があります。
研究者らは、細工した23件のプロンプトを、GPT-4o Mini、GPT-OSS-Safeguard 20B、Claude 3 Haiku、Llama Guard 3という4種類のゲートキーパーモデルに対してテストしました。テストに用いた指示の平文版については、事前に該当するポリシーによってブロックされることを確認済みです。
報告された試験では、テストしたすべてのゲートキーパーが、細工されたラッパープロンプトを安全と判定しました。研究者らによると、これらのモデルはテキスト内に隠された指示が含まれていることを認識できなかったようです。
続いて研究チームは、高度な推論(high reasoning)を有効化し、Pythonコードインタープリタへのアクセス権を与えたGPT-5 Thinkingに対して18件のプロンプトをテストしました。報告によると、ターゲットモデルは18件中17件で埋め込まれた指示を復元し、それに基づいて動作したとされ、成功率は約94.4%に達しました。
今回の調査結果は特に、より強力なエージェントにリクエストを送る前に、低コストのポリシーモデルで審査を行っているAIシステムに関連性が高いといえます。
ゲートキーパーが埋め込まれたペイロードを検知できない場合、ターゲットモデルは実質的な審査を一切経ていない指示を受け取ってしまう可能性があるとCheck Pointは述べています。
研究者らは、組織は入力フィルタリングのみを唯一の防御策とすべきではないと警告しています。セキュリティ対策では、モデルの出力やツール呼び出し、後続のアクションについても検査する必要があります。
ファイルやコード実行、企業データ、外部サービスにアクセス可能なAIエージェントにとっては、この点が特に重要になります。
16,000以上の組織から得られる最新のインテリジェンスで、58%多くの脅威を検知。TIフィードを統合し、貴社のSOCへ
翻訳元: https://cyberpress.org/puzzlemask-evades-ai-guardrails/
