Google Geminiのバグにより、攻撃者がメールの要約を乗っ取り、フィッシング攻撃を開始できるようになります。
Sadi-Santos – shutterstock.com
Google Workspace向けのGeminiは、正規のように見えるが悪意のある指示や警告を含むメール要約を生成するために悪用される可能性があります。問題は、攻撃者が添付ファイルや直接的なリンクを使わずに、被害者をフィッシングサイトに誘導できることです。このセキュリティホールは、MozillaのGenAIバグバウンティプログラムOdinに従事するMarco Figueroaという研究者によって発見されました。
2024年にもGeminiに対する同様の間接的なプロンプト攻撃が報告され、セキュリティ対策が講じられましたが、専門家によればこの手法は現在でも有効です。
攻撃の仕組み
ブログ記事の中で、Figueroa氏は、テキスト内に細工されたHTML/CSSを含むメールが、Geminiに対して不可視の指示を作成する方法を示しています。受信者が「このメールを要約」をクリックすると、AIツールは隠された指示に従い、Google風の巧妙なフィッシング警告を生成します。
被害者がAIによって生成された通知を信じて攻撃者の指示に従うと、認証情報の漏洩や、電話を使ったソーシャルエンジニアリング攻撃につながる恐れがあります。
「現在のLLMのガードレールは、主にユーザーに見えるテキストに焦点を当てています。HTML/CSSのトリック（ゼロフォント、白文字、画面外配置など）はこのヒューリスティックを回避でき、モデルは生のマークアップを受け取り続けます」とFigueroa氏は説明しています。
このような攻撃を防ぐために、研究者はセキュリティチームに対して、さまざまな検知・防御手法を実施するよう助言しています。一つの方法として、本文中に隠されたコンテンツを削除、中和、または無視することが挙げられます。
または、Geminiの出力を緊急メッセージやURL、電話番号などについてスキャンし、さらなる確認のためにメッセージにフラグを立てる後処理フィルターの実装も推奨されています。
ニュースレターを購読する
編集部からあなたの受信箱へ直接お届け
下にメールアドレスを入力して開始してください。