研究者たちは、AIシステムで処理される画像に悪意のあるプロンプトを注入し、それを大規模言語モデルに渡すことでユーザーデータを盗む新しい攻撃手法を開発しました。
この手法は、人間の目には見えない指示を持つ高解像度画像を利用し、リサンプリングアルゴリズムによって画像品質が低下した際にその指示が現れることに依存しています。
Trail of Bitsの研究者であるKikimora Morozova氏とSuha Sabi Hussain氏によって開発されたこの攻撃は、ドイツの大学（TU Braunschweig）が機械学習における画像スケーリング攻撃の可能性を探った2020年のUSENIX論文で提示された理論に基づいています。
攻撃の仕組み
ユーザーがAIシステムに画像をアップロードすると、パフォーマンスやコスト効率のために自動的に低品質に縮小されます。
システムによっては、画像リサンプリングアルゴリズムとして最近傍法、バイリニア補間、バイキュービック補間などが使われ、画像がより軽くなります。
これらすべての手法はエイリアシングアーティファクトを導入し、元画像がこの目的のために特別に作られている場合、縮小画像に隠されたパターンが現れることを可能にします。
Trail of Bitsの例では、悪意のある画像の特定の暗い部分が赤くなり、バイキュービック縮小を使って画像を処理すると黒い隠しテキストが現れます。
出典: Zscaler
AIモデルはこのテキストをユーザーの指示の一部として解釈し、正規の入力と自動的に組み合わせます。
ユーザーの視点では何も異常は見られませんが、実際にはモデルが隠された指示を実行し、データ漏洩やその他のリスクのある行動につながる可能性があります。
Gemini CLIを使った例では、研究者たちはZapier MCPで’trust=True’を使用してユーザーの確認なしにツール呼び出しを承認しながら、Googleカレンダーデータを任意のメールアドレスに流出させることに成功しました。
Trail of Bitsは、この攻撃は画像処理に使われる縮小アルゴリズムごとにAIモデルに合わせて調整する必要があると説明しています。しかし、研究者たちはこの手法が以下のAIシステムに対して有効であることを確認しました：
- Google Gemini CLI
- Vertex AI Studio（Geminiバックエンド）
- GeminiのWebインターフェース
- llm CLI経由のGemini API
- Androidスマートフォン上のGoogleアシスタント
- Genspark
この攻撃ベクトルは広範に及ぶため、テストされたツールをはるかに超えて拡大する可能性があります。さらに、研究者たちは発見を実証するために、各縮小手法に対応した画像を作成できるオープンソースツールAnamorpher（現在ベータ版）も作成・公開しています。
研究者たちは次のように主張しています。
緩和策および防御策として、Trail of Bitsの研究者は、AIシステムがユーザーが画像をアップロードする際に画像サイズの制限を実装することを推奨しています。縮小が必要な場合は、大規模言語モデル（LLM）に渡される結果のプレビューをユーザーに提供することを勧めています。
また、特に画像内にテキストが検出された場合は、機密性の高いツール呼び出しについてユーザーの明示的な確認を求めるべきだと主張しています。
「しかし最も強力な防御策は、安全な設計パターンと体系的な防御を実装し、マルチモーダルプロンプトインジェクションを超えて影響の大きいプロンプトインジェクションを緩和することです」と研究者たちは述べており、プロンプトインジェクション攻撃に耐性のあるLLMを構築するための設計パターンについて6月に発表された論文を引用しています。
