最近の脅威調査によると、サイバー犯罪者がAIを活用したセキュリティツールの回避を狙った敵対的プロンプトインジェクション攻撃のテストを増やしています。
この手法は、メール、文書、カレンダー招待、ウェブサイト、広告に含まれる悪意あるコンテンツをスキャンする大規模言語モデル(LLM)アプリケーションおよびAIエージェントを標的としています。
AIはすでにサイバー脅威の情勢を変えてきました。脅威アクターはLLM支援ツールを使ってフィッシングの誘い文句を作成したり、悪意あるコードを生成したり、ソーシャルエンジニアリングを高度化させたり、キャンペーンをより速く拡大させたりしています。
セキュリティチームも、不審なコンテンツの分析、アラートの優先順位付け、メールやファイルの要約にAIを活用しています。しかし、こうしたAI利用の拡大は攻撃者にとって新たな標的、すなわちAIセキュリティツール自体を生み出すことにもなります。
研究者らは、犯罪フォーラムで間接的プロンプトインジェクション(IDPI)ジェネレーターの広告が出回っているのを確認しています。これらのツールは月額約150ドルからのサブスクリプション形式で提供されていると報告されています。
提供されているサービスには、悪意あるメール、PDFファイル、カレンダー招待、ウェブページ用のジェネレーターが含まれます。この活動は現時点では実験的な段階にとどまっており、研究者らは大規模な悪用が広範に行われているとはまだ報告していません。
とはいえ、こうしたツールが商業的に流通していること自体、攻撃者がAIを活用したメールセキュリティ、自動分析、エージェント型ワークフローを運用する組織に対してプロンプトインジェクションを仕掛ける準備を進めていることを示唆しています。
プロンプトインジェクションとは、攻撃者が指示を挿入することでAIモデルを意図しない挙動に導く手法です。OWASPによれば、直接型と間接型の2種類が主なタイプとして挙げられています。
直接的インジェクションは、ユーザーがAIアプリケーションに悪意ある指示を直接与えることで発生します。例えば、攻撃者がチャットボットに安全ルールを無視させたり、制限された情報を開示させたりしようと試みるケースが挙げられます。
今回新たに広告が出ている犯罪ツールに関連が深いのは、間接的プロンプトインジェクションです。この攻撃では、AIモデルがメール、PDF、ウェブページ、カレンダーイベントといった外部コンテンツに埋め込まれた指示を読み取ってしまいます。
AIはそれらの指示を信頼できないデータとしてではなく、正当なコマンドとして扱ってしまう可能性があります。実際に確認されたあるメール生成ツールは、白地に白文字のテキストを含むメッセージを作成していました。
受信者には一見普通に見えるメールでも、AIメールエージェントはメール本文に隠されたテキストを読み取ることができてしまいます。
この隠されたテキストは、エージェントに対して従来のルールを無視するよう指示したり、悪意あるメッセージを安全であると分類させたり、認可されていない操作を実行させたりする可能性があります。
攻撃者は、ユーザーや従来型のアンチウイルスツールには無害に見えるPDFのテストも行っています。ある事例では、ごく普通の秘密保持契約(NDA)のサンプルの中に、AIスキャンエージェント向けの隠された指示が含まれていました。
Proofpointによると、このプロンプトはエージェントに現在のタスクを中断させ、表計算ファイルを攻撃者が管理するメールアドレスへ送信するよう指示していたとのことです。
こうした指示が成功するかどうかは、AIエージェントの権限、文書解析の挙動、セキュリティ制御に左右されます。
必要なアクセス権がなければ、プロンプト単体でエージェントにファイルへアクセスさせたりデータを送信させたりすることはできません。
しかし、AIシステムが広範な権限を持ち、信頼できない外部コンテンツを厳格な制御なしに処理できる場合、この手法はより危険なものとなります。
ANY.RUNでSOC調査の死角をなくし脅威をより早期に封じ込めることで、対応コストと業務への支障を軽減しましょう。
翻訳元: https://cyberpress.org/prompt-injection-evades-ai-security/
