Google Geminiのバグにより、攻撃者がメール要約を乗っ取り、フィッシング攻撃を仕掛けることが可能です。
Google Workspace向けGeminiは、正規のように見えるものの、悪意のある指示や警告を含むメール要約を生成するために悪用される可能性があります。問題は、攻撃者が添付ファイルや直接リンクなしで被害者をフィッシングサイトに誘導できる点です。この脆弱性は0DIN（0Day Investigative Network）、MozillaのGenAIバグバウンティプログラムに報告されました。
Geminiに対する同様の間接プロンプト攻撃は2024年にもすでに報告されており、セキュリティ対策も講じられましたが、専門家によればこの手法は現在も有効です。
攻撃の仕組み
ブログ記事で、GenAIバグバウンティのテクニカルプロダクトマネージャーであるMarco Figueroa氏は、この攻撃がメール本文内の細工されたHTML/CSSに依存していると説明しています。挿入されたテキストが隠されているため、ユーザーは元のメッセージでその指示を見ることはありません。トリガーは、ユーザーがGeminiに未読メールの要約を依頼したときに発生し、Gemini自身からの正規のものに見える操作された応答を受け取ります。
Geminiは見えない指示を解析し、攻撃者のフィッシング警告を要約出力に追加します。ユーザーがAI生成の通知に従い、攻撃者の指示に従うと、認証情報の漏洩や電話を使ったソーシャルエンジニアリング攻撃につながります。
現在のLLMのガードレールは主にユーザーが見えるテキストに焦点を当てていますが、HTML/CSSのトリック（例：ゼロフォント、白色フォント、画面外配置）はこれらのヒューリスティックを回避します。なぜなら、モデルは生のマークアップを受け取るためです、と投稿では述べられています。
0DINはこの問題を、認証情報の収集やボイスフィッシング（ビッシング）を目的とした中程度のリスクと評価しています。
このような攻撃を防ぐために、研究者はセキュリティチームにさまざまな検知および防御手法を推奨しています。一つの方法は、本文内で隠されるように設計されたコンテンツを削除、中和、または無視することです。
または、Geminiの出力をスキャンして緊急メッセージ、URL、電話番号を検出し、さらなる調査のためにフラグを立てるポストプロセッシングフィルターを導入することが推奨されています。
さらに、ニュースレター、CRMシステム、自動チケット発行メールなどが注入ベクターとなり得るため、サプライチェーンリスクを含むさらなる関連リスクも存在します。これにより、1つのSaaSアカウントが侵害されると、数千のフィッシングビーコンに変わる可能性があります。
「プロンプトインジェクションは新たなメールマクロです。“Phishing For Gemini”は、信頼できるAI要約が一つの見えないタグで改ざんされ得ることを示しています」と投稿では述べられています。「LLMが堅牢なコンテキスト分離を獲得するまで、モデルが取り込むサードパーティのテキストはすべて実行可能なコードと見なすべきです。セキュリティチームはAIアシスタントを攻撃対象領域の一部として扱い、監視・サンドボックス化し、その出力が無害であると決して仮定してはなりません。」
ニュースレターに登録する
編集部からあなたの受信箱へ
下記にメールアドレスを入力してご登録ください。