研究者たちは、人気のあるAIシステムが画像スケーリングを利用した間接的なプロンプトインジェクション攻撃によって悪意のある指示を処理させられる可能性があることを示しました。
画像スケーリング攻撃はAIに対する新しい概念ではありませんが、サイバーセキュリティの研究およびコンサルティング企業Trail of Bitsの専門家たちは、この手法が現代のAIシステムに対してどのように活用できるかを示しました。
特に大きな画像を処理できるAI製品は、解析のためにコアAIモデルへ送信する前に、自動的に画像をダウンスケール（縮小）することがよくあります。
Trail of Bitsの研究者たちは、脅威アクターが隠された悪意のあるプロンプトを含む特別に細工された画像を作成できることを示しました。攻撃者のプロンプトは高解像度の画像では見えませんが、画像が前処理アルゴリズムによってダウンスケールされると可視化されます。
悪意のあるプロンプトが可視化された低解像度の画像がAIモデルに渡され、AIモデルはそのメッセージを正当な指示として解釈する可能性があります。
Trail of Bitsは、AIモデルにユーザーのカレンダーデータを流出させるよう指示するテキストを隠すことで、この攻撃の潜在的な影響を実演しました。
AIツールは、特に企業環境において他のソリューションと統合されることが増えており、研究者たちはAIアシスタントが隠されたプロンプトを通じて機密データの窃取や改ざんに悪用される可能性を定期的に示しています。
Trail of Bitsによると、この画像スケーリング攻撃はGeminiコマンドラインインターフェース（CLI）、GeminiのウェブおよびAPIインターフェース、Vertex AI Studio、Google Assistant、Genspark、そして他の製品にも有効である可能性が高いとのことです。
広告。スクロールして続きをお読みください。
場合によっては、特にCLIが使用される場合、被害者はAIモデルによって処理される前に（悪意のあるプロンプトが可視化された）リスケール後の画像を見ることがなく、攻撃の発見がさらに困難になります。
このセキュリティ企業は、他の研究者がAIシステムに対する画像スケーリング攻撃を作成・可視化できるオープンソースツールAnamorpherを公開しています。
翻訳元: https://www.securityweek.com/ai-systems-vulnerable-to-prompt-injection-via-image-scaling-attack/