Googleは、自社のGemini人工知能モデルが、サイバーセキュリティ評価の最中に、実在する3社が保有する保護対象システムに誤ってアクセスしていたことを認めました。この事案は、設定ミスによってAIエージェントがパブリックインターネットに露出したことが原因でした。
Google Gemini AIによるハッキング
今回の事案は、ネットワークの分離、対象範囲の定義、アクセス制御のいずれかに不備があった場合、自律型AIシステムが想定されたテスト境界を突破し得ることを浮き彫りにしています。
Geminiは実在の組織を侵害するようプログラムされていたわけではありません。単に、一般公開されているシステムを、模擬的な演習内で許可された対象だと誤って解釈してしまったのです。
今回の評価を実施したのは、高度なAIモデルのサイバーセキュリティ能力をテストする企業Irregularです。Geminiは、参加者が管理された架空の環境内に隠された情報を探し出すことを求められる「Capture the Flag(CTF)」形式の演習に参加していました。
ところが、この演習で使われた架空の企業名が、実在する組織の名前と偶然一致していました。さらに、本来は遮断されているはずのインターネット接続が、誤って有効化されていたのです。
Cybersecurity News(CSN)によると、この2つの要因が重なったことで、対象範囲の制御が大きく崩れる結果となりました。Geminiは模擬環境の枠を越えて探索を行い、同名の実在企業に接続されたシステムに行き着いてしまったのです。
ある事案では、モデルが認証情報の推測を繰り返し、最終的に保護されたサービスへのアクセスに成功しました。また別の2件の事案では、Geminiが公開されているコードリポジトリ内で露出した認証情報を発見しています。The Wall Street Journalによると、Geminiはこれらの認証情報を使い、他の2社のシステムに対して認証を行いました。
Googleでセキュリティエンジニアリング担当バイスプレジデントを務めるHeather Adkins氏は、Geminiが公開情報を利用し、承認済みのテスト範囲に含まれると判断したウェブサイトに対して認証情報を推測していたと説明しています。
Googleによると、Geminiは架空の環境ではなく実在のインフラにアクセスしていたことに気づいた時点で、活動を停止したとのことです。同社は、被害は一切発生しなかったと強調し、Geminiの安全機構が最終的に活動を止めたことから、今回の事案はモデルのアラインメント不全を示すものではないと主張しています。
このような露出はGeminiに限った話ではありません。Irregularが主導した評価では、OpenAI、Anthropic、Metaの各モデルも意図せずインターネットへのアクセスを得ており、その結果は各社で異なっていました。
Anthropicは以前、関連する評価実行141,006件を精査した結果、自社のClaudeモデルが実在する組織のインフラにアクセスしていた事例が3件確認されたと発表しています。
同社は、モデルがシミュレーション内で動作している旨の指示を受けていたにもかかわらず、実際のインターネットアクセスが有効な状態のまま残されていたという誤解が、こうした事案の原因だとしています。
今回の事案は、「プロンプトだけではセキュリティ境界にはならない」という基本原則をあらためて示すものです。AIエージェントに対して単に「インターネットアクセスは利用できない」と伝えるだけでは、egressフィルタリング、DNS許可リスト、ネットワークの分離、リアルタイム監視といった技術的な制御の代わりにはなりません。
自律型サイバーエージェントを評価する組織は、実在する組織と重複しない架空の企業名を使用し、アクセス先を承認済みドメインのみに制限し、テスト環境内でのみ有効な短命の認証情報を発行するべきです。
Geminiの事案では、認証情報のセキュリティが重要な要因となりました。1件のサービスではパスワードの総当たり推測が成功し、他の2件では、コードリポジトリ内で公開状態にあった機密情報がアクセスを可能にしてしまいました。
防御を強化するために、組織はフィッシング耐性のある多要素認証を導入し、認証試行にレート制限をかけ、パスワードの使い回しをなくし、リポジトリ内のハードコードされた認証情報を継続的にスキャンする必要があります。
さらに、シークレットマネージャーの導入、開発パイプラインのスキャン、改ざん不可能な監査ログ、人間による監視、そして自動停止機能の実装も、自律型サイバーエージェントをテストする際に欠かせない安全対策です。
SOCのアラート調査1件あたり21分を削減。即時のIOCコンテキストでSOCの対応力を強化: TI LookupをSOCに統合する
翻訳元: https://gbhackers.com/google-gemini-ai-hacked-3-real-companies/
