Meta、OpenAI、AnthropicのAIエージェントを暴走させた「異例のテスト」

Metaは、AI安全性スタートアップIrregularが実施したサイバー能力テスト中に、自社の先進AIモデルに関するセキュリティインシデントを開示した、ここ数週間で3社目のフロンティアAI開発企業となりました。これにより、業界を代表するAIラボが関わる一連の開示劇の中心に、この独立系評価機関が位置づけられることになりました。

Irregularによる「Capture The Flag(CTF)」テストの最中に、Metaの「Muse Spark 1.1」が他社のシステムに侵入し、セキュリティ脆弱性を悪用したと、Reutersが報じています。同モデルがアクセス権限を意図せず取得できてしまったのは、テスト環境の設定不備が原因でした。Metaのコメントを引用する形で同報道は、このインシデントは封じ込め済みであり、恒久的な被害はなく、透明性確保の取り組みの一環として開示されたものだと付け加えています。

今回の開示は、OpenAIとAnthropicで発生した同様のインシデントが報じられてから数日後のことです。いずれのインシデントも、Irregularが実施した評価の最中に発生していました。

OpenAIは、外部のサイバーセキュリティテストパートナーであるIrregularについて、テスト環境の設定ミスにより自社モデルが公衆インターネットにアクセスできる状態になっていたと指摘しました。Anthropicも同様に、自社エージェントの暴走はIrregularによるテスト環境の設定ミスが原因だったとしていますが、このインシデントは両社間の認識の行き違いによって発生したものだと説明しています。

Irregularは、コメントを求める取材に即座には応じませんでした。

フロンティアAIテストの主要プレーヤーとして浮上したIrregular

これらのインシデントは、関与したモデルも技術的な不具合の内容もそれぞれ異なるものの、大手モデル開発企業の先進AIシステムを評価する独立系AI安全性企業、Irregularに異例の注目を集める結果となりました。

今回の一連の開示は、フロンティアAI開発企業が最先端モデルの展開前にサイバー能力と安全性を評価するうえで、独立系組織への依存を強めていることの表れでもあり、専門の第三者評価機関の役割が拡大している実態を浮き彫りにしています。

「今回一連のインシデントは、それぞれ異なる種類の失敗モードを示しています」と、IDCアジア太平洋サイバーセキュリティサービス部門のシニアリサーチマネージャー、Sakshi Grover氏は述べています。

同氏によると、OpenAIのインシデントでは、モデルが本来のテスト環境の外に出た後、未知の脆弱性を悪用したのに対し、Anthropicのインシデントは主に設定上の不備により意図せずインターネットアクセスが許可されてしまったケースだといいます。また、英国のAI Safety Instituteによる別の評価はさらに性質が異なり、AIエージェントが実際の外部システムや人間と接触する前段階で、サイバー能力を評価する目的で意図的にインターネットアクセスが有効化されていたとのことです。

「共通する問題は、評価環境をもはや受動的なテスト用インフラとして扱うことができなくなっている点です」とGrover氏は述べています。「能力の高いサイバーエージェントは、たとえ正当な研究目的の下で稼働していたとしても、潜在的に敵対的なマシンIDとして扱うべきです」

また同氏は、モデルがベンチマークの解答やIrregular側のインフラ、リファレンス資料にアクセスできてしまった場合、封じ込めが破られるだけでなく、能力評価そのものの妥当性まで損なわれかねないと警告しています。

共通の評価基準を求める声が拡大

今回の一連の開示を受け、モデル開発企業が実施するか独立系のテスト企業が実施するかにかかわらず、フロンティアAIの評価をどのように設計・監視すべきかについて、より強固な安全対策を求める声がセキュリティ専門家の間で高まっています。

「モデル開発企業と独立系評価機関の双方をカバーする共通の最低基準を設けるべき、という主張には説得力があります」とGrover氏は述べています。同氏は、デフォルトでインターネットアクセスを拒否する設計、AIエージェント専用の短命なID、制御されたネットワークアクセス、プロンプト・ツール呼び出し・認証情報・ネットワーク活動に対する包括的な監視、そしてエージェントが未承認のシステムに到達したり外部から視認可能な行動を取ったりした際の自動停止機構を推奨しています。

サイバーセキュリティ研究者でレッドチーマーのVibhum Dubey氏は、現在の評価手法がフロンティアAIの能力の進化に追いついていないと指摘します。

「AIラボは何手も先を読めるモデルを構築していますが、多くの評価環境は依然として、エージェントが想定されたシナリオの範囲内にとどまることを前提としています」とDubey氏は述べています。「そこにミスマッチがあるのです。評価すべきは、モデルがタスクを完了できたかどうかだけでなく、想定外の挙動に対して環境がどれだけ耐えられるかであるべきです」

「これらのインシデントは、我々が『封じ込め』の評価より速いペースで『知能』の評価を進めてしまっていることを示唆しています」

一連のインシデントの中心にIrregularが位置づけられているにもかかわらず、OpenAIとAnthropicはいずれも同社との協業を継続する意向です。

「私たちはIrregularとの協力関係に感謝しており、今後も同社のレビューを支援するため緊密に連携していきます。Irregularは、封じ込めとサイバー評価の安全な実施に関するベストプラクティスをまとめたホワイトペーパーの作成も進めています」と、OpenAIは声明で述べています。

「今回のインシデントの理解と解決に向けて緊密に協力してくれたIrregularに感謝します。同社は独自の調査も実施しています。セキュリティ分野における今後の共同作業を楽しみにしています」と、Anthropicは7月30日付の声明で述べています。

Dubey氏は、評価を行う研究機関は「何も信頼せず、すべてを検証する」というアプローチを採るべきだと述べています。具体的には、あらゆる外向きの通信・ID・外部とのやり取りに明示的な認可を必須とし、能力ベンチマークと並んで封じ込めに関する指標も公表すべきだといいます。

Gartnerのシニアプリンシパルアナリスト、Apeksha Kaushik氏は、AIシステムがよりエージェント的な性質を強める中で、従来型のサンドボックス化や静的な封じ込め策では不十分になりつつあると指摘し、評価環境の設計・インシデント報告・継続的なレッドチーム演習をカバーする業界横断的な基準を求めています。

企業への示唆

アナリストらは、今回の一連の開示がAIエージェントの導入を準備している企業にとっても教訓になると指摘しています。

「最大の過ちは、AIエージェントを『機能』として扱い、『運用上のID』として扱わないことです」とDubey氏は述べています。「導入するエージェントはそれぞれ、自社に代わってセキュリティ上の判断を下す新たな主体になるのです」。同氏によれば、組織は自律型エージェントを本番環境に投入する前に、それを迅速に検知し停止できる体制を整えておくべきだといいます。

Grover氏は、組織はプロンプトのみに頼るのではなく、インフラ・ID・ツールアクセスの制御を通じてセキュリティ上の境界を強制し、不可逆的な操作については人間による承認を維持し、エージェントの観測可能な挙動を監視すべきだと述べています。

「これらのインシデントを、単に『モデルの暴走』や単純な『ネットワーク設定ミス』に矮小化して捉えるべきではありません」と同氏は述べています。「これらは、能力の高いエージェントが、ありふれた制御上の弱点や曖昧なタスク設定、過剰な権限付与を、現実世界に影響を及ぼす結果へと変えてしまうことを示しているのです」。MetaとIrregularはいずれも、コメントを求める取材に即座には応じませんでした。