GoogleはGeminiにおけるASCIIスモーグリング攻撃を修正しない

Image

GoogleのAIアシスタントGeminiは、ASCIIスモーグリングと呼ばれるよく知られた攻撃手法に対して脆弱です。この攻撃により、ユーザーに偽の情報を提供させたり、モデルの挙動を変更したり、データを密かに汚染したりすることが可能になります。

ASCIIスモーグリングとは、Tags Unicodeブロックの特殊文字を利用して、ユーザーには見えないが大規模言語モデル(LLM)には検出・処理可能なペイロードを仕込む攻撃です。

これは、最近研究者たちがGoogle Geminiに対して発表した他の攻撃と似ており、ユーザーが目にするものと機械が読み取るものとのギャップを悪用するものです。

LLMがASCIIスモーグリング攻撃に対して脆弱であること自体は新しい発見ではなく、生成AIツールの登場以来、複数の研究者がこの可能性を探ってきましたが、現在ではそのリスクレベルが異なっています [1, 2, 3, 4]。

以前は、チャットボットがこのような攻撃で悪意を持って操作されるのは、ユーザーが特別に細工されたプロンプトを貼り付けるように騙された場合のみでした。しかし、Geminiのようなエージェント型AIツールが普及し、機密性の高いユーザーデータに広範囲にアクセスでき、自律的にタスクを実行できるようになると、脅威はより深刻になります。

FireTailサイバーセキュリティ企業のセキュリティ研究者Viktor Markopoulos氏は、ASCIIスモーグリングを複数の広く使われているAIツールでテストし、Gemini(カレンダー招待やメール)、DeepSeek(プロンプト)、Grok(Xの投稿)がこの攻撃に対して脆弱であることを発見しました。

一方で、Claude、ChatGPT、Microsoft CoPilotはASCIIスモーグリングに対して安全であり、何らかの入力サニタイズ(無害化)を実装していることがFireTailにより確認されました。

Image
ASCIIスモーグリングへの脆弱性
出典: FireTail

Geminiについては、Google Workspaceとの統合によりリスクが高まっています。攻撃者はASCIIスモーグリングを利用して、カレンダー招待やメールに隠しテキストを埋め込むことができます。

Markopoulos氏は、カレンダー招待のタイトルに指示を隠したり、主催者情報を上書きして(なりすまし)、会議の説明やリンクを密かに仕込むことが可能であると発見しました。

Image
ユーザーが見るカレンダーエントリ(左)と、汚染されたデータを含むGeminiチャット(右)
出典: FireTail

メールによるリスクについて、研究者は「LLMが受信トレイに接続されているユーザーの場合、隠しコマンドを含むシンプルなメールがLLMに対し、受信トレイ内の機密情報を検索したり、連絡先情報を送信するよう指示でき、通常のフィッシング攻撃を自律的なデータ抽出ツールへと変えてしまう」と述べています。

また、ウェブサイトを閲覧するよう指示されたLLMは、商品説明などに隠されたペイロードに遭遇し、悪意あるURLをユーザーに伝えることもあります。

研究者は9月18日にこの発見をGoogleに報告しましたが、同社はこれをセキュリティバグとは見なさず、ソーシャルエンジニアリング攻撃の文脈でのみ悪用される可能性があるとして問題を却下しました。

それでも、Markopoulos氏はこの攻撃によってGeminiを騙し、ユーザーに偽の情報を提供させることができることを示しました。ある例では、研究者が不可視の指示を渡し、Geminiがそれを処理して、悪意のある可能性のあるサイトを「高品質な電話を割引で入手できる場所」として提示しました。

一方、他のテクノロジー企業はこの種の問題に対して異なる見解を持っています。例えばAmazonは、Unicode文字スモーグリングに関する詳細なセキュリティガイダンスを公開しています。

BleepingComputerはこのバグについてさらなる説明を求めてGoogleに問い合わせましたが、まだ回答を受け取っていません。

翻訳元: https://www.bleepingcomputer.com/news/security/google-wont-fix-ascii-smuggling-attacks-in-gemini/

ソース: bleepingcomputer.com