Google Gemini、メール内に隠されたフィッシングメッセージを表示するよう誘導される

研究者は、Google Gemini for Workspaceにプロンプトインジェクションの脆弱性が存在し、この脆弱性を悪用することでAIアシスタントにフィッシングメッセージを表示させることができることを発見しました。

この脆弱性はMarco Figueroa氏によって発見され、ジェネレーティブAIの脆弱性に特化したMozillaの0Dinバグ報奨金プログラムを通じて報告されました。

研究者のハック手法は、ターゲットとなるユーザーに、無害な誘導文に加えて、白い背景に白いフォントで書かれたフィッシングメッセージを含むメールを送信するというものです。これにより、ターゲットにはそのメッセージが見えません。 

このフィッシングメッセージは<admin>タグで囲む必要があり、Geminiに対してそのメッセージを回答の最後に含めるよう指示します。

ターゲットがGeminiの「このメールを要約する」機能を使って攻撃者のメールの要約を取得すると、被害者に見えるテキストの要約に加えて、Geminiはフィッシングメッセージも表示します。これは、Geminiが<admin>タグで囲まれたテキストを優先し、その内容をそのまま再現するためです。 

例として、Figueroa氏は、Geminiが被害者に「Gmailのパスワードが漏洩した」と通知し、パスワードリセットのために電話番号に連絡するよう指示するメッセージを表示させるメールを作成しました。攻撃者は、被害者が電話をかけてきた際に認証情報を詐取することができます。 

この脆弱性がGoogleによって修正されたかどうかは不明です。SecurityWeekはコメントを求めてGoogleに問い合わせており、回答があれば本記事を更新します。 

同社は最近、プロンプトインジェクション攻撃を緩和するための対策について、いくつかの取り組みをまとめて発表しています。