Geminiが3社に不正侵入、しかしGoogleは「被害はなかった」として沈黙を貫く

Googleが月曜日に確認したところによると、GoogleのGemini AIエージェントが7月に3社のシステムに不正侵入し、1社については認証情報を推測、残る2社については公開リポジトリで認証情報を発見していたことが分かりました。

しかし、金曜日にThe Wall Street Journalが報じたこの件の背景として、さらに興味深いのは、この7月のインシデントが、セキュリティ調査会社Irregularが実施した一連のサイバーセキュリティテストに端を発しているという点です。このテストは、Google、Anthropic、OpenAI、Metaという4大AI企業を対象に行われたものでした。4社すべてでエージェントが問題行動を起こし、サイバーセキュリティインシデントに発展しましたが、そのうち自社エージェントの行動を公に開示しなかったのはGoogleだけでした。実際、Googleはウォール・ストリート・ジャーナルの記者から取材を受けるまで、この侵害について一切明らかにしていませんでした。

Irregularは8月にこのインシデントについて説明しており、ほぼ同じ時期にMetaも自社版の詳細を公表し、AnthropicとOpenAIも自社の件を明らかにしていました。

ウォール・ストリート・ジャーナルの記事は次のように指摘しています。「この不正侵入は、モデルのサイバーセキュリティ能力を検証するためにIrregularが所有するインフラ上で実施されていたキャプチャー・ザ・フラッグ演習に、当該モデルが参加していた最中に発生した。モデルには、テスト環境内にある架空企業が運用するソフトウェアから情報を取得するという任務が与えられていた。この架空企業は、実在する企業と同じ名称を共有していた。モデルはオンラインに接続できないはずだったが、Irregularによれば、意図せずインターネットアクセスが可能な状態になっていたという」。

システムに侵入された3つの小規模企業は、テストの内情に詳しいある関係者によれば、「サイバーセキュリティ関連のインフラがほぼ皆無」の状態だったといいます。つまり、Geminiエージェントの侵入が成功した際、3社ともまともに抵抗できる立場にはなかったということです。

匿名を条件に取材に応じたGoogle関係者によると、残る2社の名称が最初の企業の名称と酷似していたため、エージェントは公開リポジトリを閲覧してアクセス用の認証情報を発見した際に混乱し、3社すべてを同一組織のものだと誤認したとのことです。

多くのアナリストやコンサルタントが注目したのは、不正侵入そのものではなく、この一連の侵入行為についてGoogleが沈黙を守った理由でした。

Googleによれば、エージェントは侵入先の企業が実在するビジネスだと気づいた時点で活動を停止したといいます。前出のGoogle関係者は「被害は一切生じていない」ため、「モデルのアラインメントに問題があったわけではない」と述べています。

同関係者は、ウォール・ストリート・ジャーナルの記事内容を裏付けています。同記事は「Googleはこの一件を、ハッカーがセキュリティ脆弱性を発見して所有者に報告することで報奨を得る『バグバウンティ』プログラムになぞらえた」とし、Googleでセキュリティエンジニアリング担当バイスプレジデントを務めるHeather Adkins氏の「今回のケースでは、モデルは適切に行動した」という発言を引用しています。

「被害」の定義とは

しかし、アナリストの見解はおおむね異なっていました。

「Googleが定義する『被害』とは何を指すのでしょうか。対象企業が考える被害と同じなのでしょうか。ダウンタイム、不正アクセス、データの窃取は即座に被害をもたらさないかもしれませんが、長期的な影響を及ぼす可能性があります」と、IDCのリサーチディレクターを務めるRyan O’Leary氏は述べています。「バグバウンティプログラムになぞらえるのは、良く言っても無理があります。仮に私がGoogle本社に侵入し、何も盗まず、何の被害も与えなかったとしても、不法侵入で起訴される可能性は十分にあるでしょう」。

Gartnerのバイスプレジデント・アナリストであるNader Henein氏も、同様の見方を示しています。

「もし近所の防犯パトロールの一員が私の家に侵入し、少し歩き回って立ち去ったとしても、当局がそれを地域貢献活動とは見なさないでしょう」と同氏は述べています。「今回のケースでも、もし侵入先のサイトにバグバウンティプログラムがあり、Googleがバグを発見するようエージェントをプログラムしていたのであれば、その反論にも一理あるかもしれません。しかし実際にはそうではないため、かなり弱い主張だと言わざるを得ません」。

とはいえ、同氏はこう付け加えています。「Googleが『強力なAIモデルを責任ある形で振る舞うよう訓練することの重要性』を強調した点は評価に値します。今後、Googleがこうした事態の再発をどう防ぐつもりなのか、注視したいと思います」。

不適切な振る舞い

一方、Forresterのバイスプレジデント兼プリンシパルアナリストであるJeff Pollard氏は、Geminiモデルが「適切に行動した」というGoogleの主張に異議を唱えています。

「このモデルは、認可された目標を認可されていない手段で追求し、シミュレーション環境から実在する企業へと越境し、同意を得ないままアクセスを獲得しました」と同氏は述べています。「これは、規制が技術の進化のスピードに追いついていない領域の一つです。ここには二つの側面があります。一つはエージェントの脱走・侵入に関する規制、もう一つは被害企業側の開示義務に関する規制上の問題です。Googleが責任を負うのは、そのうちの半分にすぎません」。

Info-Tech Research GroupのテクニカルカウンセラーであるErik Avakian氏も、予期せぬ問題のあるモデルの振る舞いをいつ開示すべきか、企業が明確なルールを持つことが極めて重要だと指摘しています。

「AIモデルが起こした予期せぬ出来事すべてを、公にすべきインシデントとして扱う必要はないと思います。しかし、自律システムが認可や信頼の境界を越えた時点で、明確な線引きが必要です」と同氏は述べています。「AIシステムが制御された環境の外に出て、実在するサードパーティの本番システムにアクセスし、認証情報を使用し、データを取得し、権限を昇格させる、あるいは一切認可されていない何らかの行動を取った場合、それは少なくとも影響を受けた組織への開示と正式なインシデント調査の引き金になるべきです」。

Avakian氏によれば、たとえ侵入による損害がなかったとしても、「そのインシデントがモデルを取り巻く制御体制における、より大きな、あるいは再発しうる問題を露呈させたのであれば」公表すべきだといいます。

独立系テクノロジーコンサルタントのSteven Eric Fisher氏も、エージェントの不祥事の開示について、企業は厳格かつ一貫した姿勢を持つ必要があると強調しています。

「今回の一連のインシデントで最も不可解なのは、単にAIシステムが境界を越えたという事実そのものではありません」と同氏は述べています。「境界を越えた後に浮上してくる、責任の所在をめぐる姿勢のほうです。境界がすでに越えられた後に停止することと、そもそも境界が越えられるのを未然に防ぐこととは、同じではありません。『AIがやったことだ』が免責の境界線になってはならないと私は考えます」。

制御の失敗

そして、コンサルティング会社Acceligenceの最高経営責任者(CEO)を務めるJustin Greis氏は、被害がなかったことと、重大性がなかったこととは必ずしも同義ではないと主張しています。

「たとえ全員が幸運に恵まれ、誰も被害を受けなかったとしても、あるシステムの能力や制御体制について何を露呈したかという点で、その出来事は重大な意味を持ちうるのです」とGreis氏は述べています。「Geminiが実在する企業の環境内にいると認識した時点で自ら活動を停止したことは、前向きな安全性のシグナルです。しかし、Geminiがそもそもそこにたどり着けてしまったこと自体が、制御の失敗にほかなりません。この二つは同時に成り立つ話です」。

Dickson ResearchのプリンシパルアナリストであるFrank Dickson氏は、Googleに対して最も厳しい批判の言葉を口にしました。

「モデルの振る舞いは、この一件の中で最も興味の薄い部分です。真に問題なのは、その後のGoogleの対応です」と同氏は述べています。「これはGeminiが暴走したという話ではありません。4つのAIラボが共有していた一つのテストベンダーのインフラ上の不備が、4社を同時に直撃したという話であり、そして4社の中でGoogleが、自社に起きた同じ失敗について、最も動きが遅く、最も情報開示に後ろ向きだったという話なのです」。

同氏はさらにこう指摘しています。「Irregularは7月下旬の時点で4つのラボすべてに通知していました。ところがGoogleが公表に踏み切ったのは9月18日、実に7週間後のことで、しかもジャーナルからコメントを求められて初めて動いたのです。率直に言いましょう。これは、開示に値しないインシデントだと判断した企業の振る舞いではありません。同じ根本的な失敗について3社の競合他社がレピュテーション上のダメージを引き受けるのを見届けたうえで、自分たちの番を回避できないか様子見していた企業の振る舞いです。結局それは叶わず、我々がこの件を知ることができたのも、ひとえに一人の記者が問い合わせたからにほかなりません」。