Google、Geminiの新たなASCIIスモーグリング攻撃を修正せず

Googleは、AIアシスタントのGeminiに対する新たなASCIIスモーグリング攻撃について、修正しないことを決定しました。この攻撃は、ユーザーに偽の情報を提供させたり、モデルの挙動を変更したり、データを密かに汚染したりするために利用される可能性があります。

ASCIIスモーグリングとは、Tags Unicodeブロックの特殊文字を使って、ユーザーには見えないが大規模言語モデル（LLM）が検出・処理できるペイロードを仕込む攻撃です。

これは、最近研究者たちがGoogle Geminiに対して発表した他の攻撃と似ており、ユーザーが見ているものと機械が読み取るもののギャップを悪用しています。

LLMがASCIIスモーグリング攻撃に脆弱であること自体は新しい発見ではなく、生成AIツールの登場以来、複数の研究者がこの可能性を探ってきましたが、現在はリスクレベルが異なっています[1, 2, 3, 4]。

以前は、こうした攻撃でチャットボットを悪意ある操作に利用するには、ユーザーが特別に細工されたプロンプトを貼り付けるよう騙される必要がありました。しかし、Geminiのようなエージェント型AIツールが普及し、機密性の高いユーザーデータへ広範なアクセスや自律的なタスク実行が可能になることで、脅威はより深刻になっています。

FireTailサイバーセキュリティ企業のセキュリティ研究者Viktor Markopoulos氏は、ASCIIスモーグリングを複数の広く使われているAIツールでテストし、Gemini（カレンダー招待やメール）、DeepSeek（プロンプト）、Grok（X投稿）がこの攻撃に脆弱であることを発見しました。

一方で、Claude、ChatGPT、Microsoft CoPilotは、何らかの入力サニタイズを実装しており、ASCIIスモーグリングに対して安全であることがFireTailによって確認されました。

Geminiについては、Google Workspaceとの統合によりリスクが高まっています。攻撃者はASCIIスモーグリングを使って、カレンダー招待やメールに隠しテキストを埋め込むことが可能です。

Markopoulos氏は、カレンダー招待のタイトルに指示を隠したり、主催者情報を上書きして（なりすまし）、隠された会議説明やリンクを密かに仕込むことができると発見しました。

メールによるリスクについて、研究者は「受信トレイとLLMが連携しているユーザーの場合、隠しコマンドを含むシンプルなメールがLLMに対して受信トレイ内の機密アイテムを検索したり、連絡先情報を送信したりするよう指示でき、通常のフィッシング攻撃を自律的なデータ抽出ツールに変えてしまう」と述べています。

ウェブサイトの閲覧を指示されたLLMも、商品説明などに隠されたペイロードに遭遇し、悪意あるURLをユーザーに伝えることがあります。

研究者は9月18日にGoogleへこの発見を報告しましたが、同社はこの問題をセキュリティバグとは見なさず、ソーシャルエンジニアリング攻撃の文脈でのみ悪用される可能性があるとして却下しました。

それでも、Markopoulos氏はこの攻撃によってGeminiを騙し、ユーザーに偽の情報を提供させることができると示しました。ある例では、研究者が不可視の指示を渡し、Geminiがそれを処理して、割引で高品質な電話を入手できる場所として悪意のあるサイトを提示しました。

他のテクノロジー企業は、この種の問題に対して異なる見解を持っています。例えばAmazonは、Unicode文字のスモーグリングに関する詳細なセキュリティガイダンスを公開しています。

BleepingComputerはこのバグについてGoogleにさらなる説明を求めていますが、まだ回答は得られていません。