新たに公開された脆弱性により、Google Gemini が自らの安全フィルターで生成を拒否したはずの画像を、ユーザーに渡してしまう可能性があることが明らかになりました。モデルはプロンプトを拒否したものの、ダウンロード用エンドポイントは、ブロックされたはずの成果物をそのまま返していました。
この発見は2026年11月5日に公開されました。報告したのは研究者の Jason Kao 氏で、2026年6月に Google へ報告しています。この欠陥は、ジェイルブレイクやプロンプトインジェクションを伴うものではありません。
問題が生じたのは、モデルとユーザーの間にある配信レイヤーです。ここでは拒否の判断が記録されただけで、実際には強制されていませんでした。安全性の分類器自体は正しく動作していました。
検証者が著作権で保護されたキャラクターであるミッキーマウスの画像を求めたところ、Gemini は丁寧に断りました。ところが、ダウンロードのコントロールを操作すると、その画像が返されたのです。
根本原因は、gemini.google.com/app におけるオブジェクトの紐付けの不整合でした。生成された画像には、それぞれ2つの取得経路がありました。1つは、会話内に表示されるインライン版です。
もう1つは、オーバーレイ表示されるダウンロードアイコンの先にある、フル解像度版です。どちらも lh3.googleusercontent.com 上の署名付き URL で解決され、認証済みセッションに紐付いているため、シークレットウィンドウでは取得に失敗します。インライン版の URL は末尾が =s1024-rj、ダウンロード版の URL は末尾が =s0-d-I でした。
安全性の判定が適用されていたのは、インライン版だけでした。研究者らは、拒否された後に別の無害な画像を要求しました。会話画面には無害な画像が表示されましたが、ダウンロード URL が指していたのは拒否されたほうの画像でした。
タイミングによって、返される成果物は異なりました。部分的な成果物のほか、ぼやけた画像や中心がずれた中間レンダリング、完全に仕上がった画像が返されたのです。研究者らは、拒否されたはずの完成画像を、複数の日とセッションにわたって再現しています。
研究者らは、画像の生成、安全性による中断、成果物のクリーンアップの間で競合状態（レースコンディション）が起きているとみています。ユーザーにはどちらの場合も同じ拒否メッセージが表示されるため、この挙動は検知しにくいのが実情です。
拒否が強制された場合と、されなかった場合とで、見た目に違いはありません。既存のガードレール回避の研究は分類器のバイパスに焦点を当てています。しかし今回の事例は、悪意ある入力がなくても、出力段階での強制が失敗しうることを示しています。モデルは誤っていないため、プロンプトのフィルタリングを改善しても、この問題は解決しません。
この症状には、以前からユーザーが気付いていました。2025年12月以降、Google のサポートフォーラムや Reddit には、ダウンロードボタンで保存した画像が表示中の画像と異なるという報告が寄せられていました。
ユーザーはこれを UX 上の不具合と捉え、拒否されたコンテンツとは結び付けていませんでした。Fog Securityも、この問題を独自に発見しています。開示までの経緯には、ばらつきがありました。Google の VRP（脆弱性報奨金プログラム）は当初、2026年6月25日にこの報告を対象外と判断しました。
その後、研究者らが問題はモデルの挙動ではなくインフラにあると説明したことで、分析が再開されました。しかし9月30日、Google はこの問題を不正利用のバグとして追跡しない方針を示しました。
10月15日の再テストでは、古い会話で依然として漏えいを再現できました。10月22日になると、古い会話でも正しい画像がダウンロードされ、12回の新たな試行でも再現しませんでした。
Google はこの変化を定期メンテナンスによるものと説明しました。社内チケットは起票せず、10月23日に報告をクローズしています。
ダウンロード用エンドポイントは、表示されている最終確定済みの画像に紐付けるべきです。そうすれば、未確定の成果物にユーザーがアクセスできることはありません。拒否された生成や失敗した生成の成果物も、取得できないよう消去する必要があります。
エージェント系ツールにおける多層防御の不備も同様で、ユーザーに到達しうるあらゆる経路で強制を徹底しなければならないことを示しています。研究者らは、本番環境の AI システムに対するガードレール回避手法も、引き続き発見しています。
16,000以上の SOC チームが ANY.RUN を活用し、脅威調査を効率化して手作業を減らしています。自社チームでの活用を検討する
翻訳元: https://cyberpress.org/google-gemini-safety-download-images-blocked/
