Googleは、5月に実施されたサイバーセキュリティ評価の中で、Geminiモデルが意図せずインターネットに接続してしまい、想定していたテスト環境の外に出た結果、実在する3社のシステムにアクセスしていたことを確認したと発表しました。
この事例は、Googleが開発したAIシステムが自律的に外部組織を侵害した初めてのケースですが、Google自身はこの出来事を「モデルの不整合（ミスアライメント）」とは見なしていないとしています。
独立系のAIセキュリティ評価機関Irregularは、この評価をキャプチャー・ザ・フラッグ形式の演習として実施しました。Geminiには、模擬環境内にある架空の企業から情報を取得するよう指示が出されていました。
しかしこのモデルはオープンなインターネットにアクセスできる状態にあり、しかもその架空企業の名称が実在する組織の名称と重複していました。この組み合わせが、本来は範囲が限定されているはずのサイバー能力テストを、実際の稼働中インフラへの接触へと変えてしまったとみられています。
Googleでセキュリティエンジニアリング担当バイスプレジデントを務めるヘザー・アドキンス氏によると、Geminiは公開情報を利用し、評価の対象範囲に含まれると判断した3つのウェブサイトの認証情報を取得しようとしたとのことです。
1件については、パスワードの推測を繰り返した末に保護されたシステムへの侵入に成功しました。残る2件については、公開されているオンラインリポジトリ上に流出していた認証情報を発見し、それを使って保護されたシステムにアクセスしました。
WSJの報道によると、このモデルはいずれのケースにおいてもアクセス獲得後に活動を停止したとのことです。同社は該当する3組織に通知しており、実害は生じなかったとしています。
これらの組織の身元や影響を受けたシステムについては、公には明らかにされていません。したがって今回明らかになった事実が示しているのは、実運用を狙った侵入キャンペーンや、Geminiが割り当てられたタスクの範囲を超えて独自に目的を形成したことの証拠ではなく、あくまでテスト中の不正アクセスだということです。
とはいえ、この出来事は開発者によるエージェントのテスト方法に存在する制御上の不備を浮き彫りにしています。プロンプトに架空の対象が記述されているというだけでは、サンドボックスをサンドボックスと呼ぶことはできないのです。
エージェントが本番稼働中のインターネットサービスを名前解決したり到達したりすることを防ぐには、アウトバウンド通信の制限、DNS制御、認証情報カナリア、許可リスト、隔離されたテスト用テナントが不可欠です。評価環境ではまた、繰り返される認証試行を検知し、スコープ検証に失敗した場合には実行を停止する仕組みも備えるべきです。
認証情報に関する側面も同様に注目に値します。Geminiが3つのシステムに到達するのに、目新しいエクスプロイトチェーンは必要ありませんでした。パスワードの推測と、公開リポジトリに残されていた認証情報だけで十分だったのです。
組織は、公開状態で露出している機密情報を侵害の経路そのものとして扱い、発見された認証情報はすべてローテーションし、フィッシング耐性のある多要素認証を導入すべきです。加えて、レート制限やアカウントロックアウトによる保護を適用し、ソースコードやパッケージのリポジトリをキー・トークン・パスワードについて継続的にスキャンする必要があります。
Irregularは以前にも、OpenAI、Anthropic、Metaがそれぞれ公表した同様のサイバーセキュリティテスト事案に関与しており、今回のGeminiの事例は、フロンティアモデルの評価において模擬タスクと実世界のシステムとの境界の脆弱さが露呈するという、より広範なパターンの一部として位置づけられます。
AI開発企業にとっての教訓は、安全性評価がモデルの意図、ツールに与える権限、ネットワークへの到達可能性、そして対象の検証までをカバーしなければならないということです。
防御側にとって、この出来事はある根強い現実を改めて突き付けています。それは、操作主体が自律的なAIエージェントであったとしても、インターネットに露出した認証システムや流出した認証情報は依然として悪用され得る、ということです。
16,000以上のSOCチームがANY.RUNを活用し、脅威調査の効率化と手作業の削減を実現しています。貴チーム向けの詳細はこちら
翻訳元: https://cyberpress.org/google-gemini-ai-autonomously-hacked-three-companies/
