Google Geminiの欠陥がメール要約を乗っ取りフィッシングに悪用される

Google Workspace向けのGeminiは、正規のメール要約を装いながら、悪意のある指示や警告を含め、ユーザーを添付ファイルや直接リンクを使わずにフィッシングサイトへ誘導するよう悪用される可能性があります。

この攻撃は、メール内に隠された間接的なプロンプトインジェクションを利用し、Geminiがメールの要約を生成する際にそれに従う仕組みです。

2024年以降、同様のプロンプト攻撃が報告され、誤解を招く応答を防ぐための対策が講じられているにもかかわらず、この手法は依然として有効です。

Geminiを利用した攻撃

GoogleのGeminiモデルに対するプロンプトインジェクション攻撃は、Mozillaの生成AIツール向けバグ報奨金プログラム「0din」を通じて、MozillaのGenAIバグバウンティプログラムマネージャーであるMarco Figueroa氏によって公開されました。

この手法は、Geminiに対する不可視の指示を含むメールを作成することにあります。攻撃者は、HTMLとCSSを使ってフォントサイズをゼロ、色を白に設定することで、メッセージ本文の末尾に悪意のある指示を隠すことができます。

悪意のある指示はGmail上では表示されず、添付ファイルやリンクが含まれていないため、メッセージが高い確率でターゲットの受信箱に届きます。

受信者がメールを開き、Geminiにメールの要約を生成するよう依頼すると、GoogleのAIツールは不可視の指示を解析し、それに従います。

Figueroa氏が示した例では、Geminiが隠された指示に従い、ユーザーのGmailパスワードが漏洩したというセキュリティ警告とサポート電話番号を含めて要約を生成しています。

多くのユーザーはGeminiの出力をGoogle Workspaceの機能の一部として信頼する傾向があるため、この警告が悪意のあるインジェクションではなく正規の警告として受け取られる可能性が高くなります。

Figueroa氏は、このような攻撃を防ぐためにセキュリティチームが適用できる検出・緩和策をいくつか提案しています。一つは、本文中で隠されているようにスタイル設定されたコンテンツを削除、無効化、または無視する方法です。

もう一つの方法は、Geminiの出力を後処理フィルターでスキャンし、緊急メッセージやURL、電話番号が含まれている場合にフラグを立てて再確認することです。

また、ユーザーはGeminiの要約がセキュリティ警告として権威あるものとは限らないことを認識しておくべきです。

BleepingComputerは、こうした攻撃を防止または緩和するための対策についてGoogleに問い合わせましたが、広報担当者はプロンプトインジェクション攻撃に対するセキュリティ対策についてのGoogleのブログ記事を案内しました。

「私たちは、こうした敵対的な攻撃に対抗するため、レッドチーム演習を通じてモデルを訓練し、既に堅牢な防御をさらに強化し続けています」とGoogleの広報担当者はBleepingComputerに語りました。

同社の担当者は、いくつかの緩和策は現在実装中、またはまもなく展開予定であるとBleepingComputerに説明しました。

Googleは、Figueroa氏のレポートで示されたような形でGeminiが操作された事例は確認していないと述べています。