フィッシングメールがAIアシスタントを狙う

不審なメールは無視しました。添付ファイルも開かず、リンクもクリックせず、送信者に返信もしませんでした。

ところが、その後でAIアシスタントに受信トレイの要約を頼んだとします。

せっかく回避したはずのメッセージが、今度は信頼しているツールからの「緊急の推奨事項」として、再びToDoリストに現れるとしたらどうでしょうか。

これが、AIアシスタントに向けた隠し指示を含むフィッシングメールの危険性です。攻撃者は人間を説得するだけでなく、メッセージを読み取るソフトウェアにも影響を与えようとしています。Barracudaの最近の調査では、人間とAIの双方を同時に標的とするよう設計されたメールが報告されています。

人間の受信者に対しては、パスワード付きの添付ファイルが用意され、パスワードはメール本文に記載されていました。一方、メールを処理するAIアシスタントに対しては、要約や内容の扱い方に影響を与えることを狙った隠し指示が仕込まれていました。

プロンプトインジェクションを仕込むことで、攻撃者はあなたにたどり着く新たな経路を得ます。悪意ある指示は、メールを正当なものや緊急のものとアシスタントに説明させ、あなたに再確認を促そうとする場合があります。

別の例では、隠されたブロックが要約を行うAIに対し、偽の優先対応事項として「取引先の支払い情報を変更すること」を追加するよう指示していました。これにより、従業員が攻撃者の口座に送金してしまう恐れがあります。

攻撃者は単に、AIに詐欺的な依頼を繰り返させようとしているわけではありません。その依頼を、アシスタント自身の推奨事項に変えようとしているのです。

プロンプトインジェクションの仕組み

プロンプトインジェクションとは、AIシステムが読み込むはずの素材に指示を埋め込み、AIがそれを素材の一部として扱わずに従ってしまうことを狙う手法です。メールやWebページなど外部のソースを通じて指示が届く場合は、間接プロンプトインジェクションと呼ばれることがよくあります。

悪意ある指示は、通常の読みやすい文章として現れるとは限りません。Barracudaは、メールの基盤となるHTMLコード内のコメント、スタイル設定で不可視にしたテキスト、エンコードされたコンテンツ、不可視の「ゼロ幅」文字といった隠蔽手法を確認しています。これらは、メッセージを目にする人間からは指示を見えなくしつつ、AIシステムが処理できる状態でコンテンツを残します。そのコンテンツが実際にモデルへ届くかどうかは、各ツールがメールをどのように抽出・加工するかによって異なります。

つまり、この問題は「メールをもっと注意深く見るように」と呼びかけるだけでは解決できません。防御の一部は、メッセージを処理するツールの内部に組み込む必要があります。

AIコードレビューサービスShipItCleanの開発者であるApollo Raines氏は、次のように説明しています。

「本当の欠陥は、モデルが『読むべきテキスト』と『従うべき指示』を区別できないことです。モデルに届く前に隠しコンテンツを除去することには価値があり、すべてのベンダーが実施すべきです。ただし、これはいたちごっこです。新しいエンコードの手口が登場するたびに、新たな穴が生まれます」

同氏はさらに次のように述べています。

「人々はメールを疑うことを学んできましたが、AIアシスタントを疑うことは学んでいません。だからこそ、防御はツールの内部になければなりません。さらに踏み込めば、その一部はモデル自体の内部に組み込む必要があります。ラッパー、フィルター、サンドボックス、そして支払いに対する人間の承認は、いずれも欠かせません」

行動に移す前に

メッセージを要約するアシスタントが、どのメールに注意を払うべきか、あるいはどのような対応が必要かについて、あなたを誤解させる可能性があります。

より多くの権限を持つアシスタントであれば、さらに深刻な問題を引き起こしかねません。その機能や安全対策によっては、悪意ある指示によって不正な操作を実行させられたり、機密情報を開示させられたりするおそれがあります。

メール処理を助けてくれるAIツールを手放す必要はありません。ただし、そのツールに何を任せるのか、どのような権限を与えるのかは慎重に検討する必要があります。

従来からのフィッシング対策は、今も有効です。アシスタントがあなたに代わって受信トレイを読む場合は、行動に移す前にその推奨内容を確認してください。

• 金銭や機密情報に関わる推奨事項に従う前に、元のメッセージを確認する。要約が請求書の支払いや口座情報の変更、機密情報の共有を促していても、要約そのものを確認の代わりにしない。
• 支払い情報の変更は、必ず別の確立された連絡手段で確認する。不審なメールに記載された情報に頼らず、すでに信頼できる連絡先を使って本人や組織に問い合わせる。
• AIアシスタントの権限は、必要なものと、職場であれば組織が許可する範囲に限定する。メールの要約に使うアシスタントが、無関係な操作を実行できる広範な権限を持つべきではない。アクセスを制限することで、悪意ある指示に従った場合の影響を抑えられる。
• 支払いや取引先の支払い情報の変更など、影響の大きい操作には人間の承認を必須とする。承認の際は、アシスタントの推奨をそのまま受け入れるのではなく、元の依頼内容まで確認する。

脅威の報告から、脅威の排除へ。

サイバーセキュリティのリスクが、見出しの先に広がってはなりません。今すぐMalwarebytesをダウンロードして、脅威をデバイスから遠ざけましょう。