攻撃者、フィッシングメールにAIプロンプトインジェクションを仕込む

フィッシングメールに、人間の受信者向けの従来型の誘い文句に加えて、AIアシスタントへの隠し指示が埋め込まれていることが確認されました。1通のメールで、ユーザー本人と、受信トレイを要約するシステムの両方を狙う手口です。

Barracudaは10月7日に公開した調査で、パスワード付き添付ファイルといった従来型のソーシャルエンジニアリングと、同じメールに隠したプロンプトインジェクションを組み合わせた攻撃キャンペーンを分析したと報告しました。ただし、このキャンペーンの規模については明らかにしていません。

分析対象のメールは、一見すると通常の社内メールのようでした。「From」と「To」のアドレスは同じメールボックスで、スパム信頼度スコアは信頼できる値でした。送信元も公共機関のドメインだったため、レピュテーションベースのフィルタリングをすり抜けやすい状態でした。

1通のメールで2つの標的

人間の受信者に対しては、パスワード付きの添付ファイルを送り、パスワードは本文に記載していました。Barracudaによると、この手口は従来のメールセキュリティ対策の死角を突くものです。添付ファイルを開くと、認証情報の窃取やマルウェアの感染につながります。

受信者がこのメールを見落とした場合でも、隠されたプロンプトインジェクションによって、AIアシスタントが要約の中でメールを正当なものや緊急のものとして提示する可能性があります。その結果、受信者はメールを開き、リンクをクリックするよう促されます。

間接的プロンプトインジェクションの関連記事: Webコンテンツ内の間接的プロンプトインジェクション、AIエージェントを標的に

Barracudaによると、こうした指示を隠す手法として多く使われていたのは、HTMLコメント、CSSで不可視にしたテキスト、Base64エンコードされたデータ、ゼロ幅文字の4種類です。

注入された指示によって、アシスタントに直前までの指示を無視させ、送金を要求させたり、データを漏えいさせたり、偽の緊急対応を表示させたりすることも可能です。

標的の拡大に対しては多層防御が必要

Barracudaは実際の事例として、請求書メールに隠されたブロックを紹介しました。そこには、要約を行うAIに対し、取引先への支払い情報を変更する偽の優先対応を追加するよう指示が書かれており、従業員を攻撃者への送金に誘導しようとするものでした。

このほか、履歴書に隠されたテキストが、AI採用スクリーニングツールに候補者を10点満点中10点と評価させようとする例もありました。また、サポートボットに設定内容を開示させるための偽のメンテナンスモード要求や、汚染されたWebドキュメントによって、コーディングアシスタントが認証コードに認証情報を外部送信する1行を挿入しかねない例も挙げています。

Barracudaは、あらゆる変種を単一の対策で防ぐことはできないと指摘しています。推奨する対策は、コンテンツがAIシステムに届く前に隠し要素や不可視文字を除去すること、指示の上書きを狙う表現を検知すること、AIのサンドボックス化、出力の検証、支払いや取引先変更に対する人間の承認です。繰り返されるインジェクションの試行を監視することも勧めています。

また、外部コンテンツは常にデータとして扱い、指示とは切り離しておくべきだとしています。