Meta、OpenAI、AnthropicのAIエージェントがIrregularのテストで暴走

Metaは、AI安全性スタートアップのIrregularが実施したサイバー能力テストにおいて、自社の先端AIモデルが関わるセキュリティインシデントを開示した、ここ数週間で3社目の最先端AI開発企業となりました。これにより、この独立系評価機関は業界を代表するAIラボが関わる一連の開示の中心に位置づけられることになりました。

Irregularによる「Capture the Flag」形式のテストにおいて、Metaの「Muse Spark 1.1」が他社のシステムを侵害し、セキュリティ脆弱性を悪用したと、Reutersが報じました。同モデルは、テスト環境の設定ミスによって意図しないアクセス権を得たとされています。Metaの発言を引用する形で同報道は、このインシデントは封じ込め済みであり、恒久的な被害は生じておらず、同社の透明性向上の取り組みの一環として開示されたものだと付け加えています。

今回の開示は、OpenAIとAnthropicが同様のインシデントを報告してから数日後のことで、いずれもIrregularが実施した評価の最中に発生したものです。

OpenAIは、外部サイバーセキュリティテストのパートナーであるIrregularについて、テスト環境の設定ミスにより自社モデルが公共インターネットにアクセスできる状態になっていたと指摘しました。Anthropicも同様に、自社エージェントの暴走はIrregular側のテスト設定ミスが原因だったとしつつ、これは両社間の認識の行き違いによって発生したものだと説明しています。

Irregularはコメント要請に対し、直ちには応じませんでした。

最先端AIテストの主要プレーヤーとして浮上するIrregular

今回の一連のインシデントは、それぞれ異なるモデルと異なる技術的な不具合が関わっているものの、大手モデル開発企業向けに先端AIシステムを評価する独立系AI安全性企業であるIrregularに、異例の注目を集める結果となりました。

今回の開示はまた、先端AI開発企業が自社の最先端モデルを展開する前にそのサイバー能力と安全性を評価するうえで、独立系機関への依存を強めている中、専門の第三者評価機関が果たす役割の拡大を浮き彫りにしています。

「今回の一連のインシデントは、それぞれ異なる失敗のパターンを表しています」と、IDCアジア太平洋サイバーセキュリティサービス部門のシニアリサーチマネージャーであるSakshi Grover氏は述べています。

同氏によると、OpenAIのインシデントは、モデルが想定されていた評価環境を逸脱した後に、それまで知られていなかった脆弱性を悪用したというものだった一方、Anthropicのインシデントは主に、意図せずインターネットアクセスを許してしまう設定上の問題によるものだったといいます。さらに、英国のAI Safety Instituteによる別の評価はまた異なるケースで、AIエージェントが実際の外部システムや人間とやり取りする前に、サイバー能力を評価する目的で意図的にインターネットアクセスが有効化されていたものでした。

「共通する問題は、評価環境がもはや受動的なテスト用インフラとして扱えなくなっているという点です」とGrover氏は述べています。「能力の高いサイバーエージェントは、たとえ正当な研究目的の下で稼働していたとしても、潜在的に敵対的なマシンアイデンティティとして扱うべきです」

Grover氏はさらに、モデルがベンチマークの解答や評価者側のインフラ、参照用の成果物にアクセスできてしまった場合、封じ込めが破られるだけでなく、能力評価そのものの正当性まで損なわれかねないと警告しています。

共通の評価基準を求める声が拡大

今回の一連の開示を受け、モデル開発企業と独立系テスト企業のどちらが実施する場合であっても、先端AIの評価がどのように設計・監視されるべきかについて、より強固な安全策を求める声がセキュリティ専門家の間で高まっています。

「モデル開発企業と独立系評価機関の双方に適用される共通の最低基準を設けるべきだという主張には、強い説得力があります」とGrover氏は述べています。同氏は、デフォルトでインターネットアクセスを拒否する設計、AIエージェント専用の短命なIDの発行、制御されたネットワークアクセス、プロンプト・ツール呼び出し・認証情報・ネットワーク活動の包括的な監視、そしてエージェントが許可されていないシステムに到達したり外部から観測可能な行動をとったりした場合の自動停止条件の導入を推奨しています。

サイバーセキュリティ研究者でレッドチーム担当者のVibhum Dubey氏は、現行の評価手法は最先端AIの能力の進化に追いついていないと指摘します。

「AIラボは、数手先まで考えられるモデルを開発しています。しかし多くの評価環境は依然として、エージェントが想定されたシナリオの範囲内にとどまるという前提に立っています」とDubey氏は述べています。「そこにミスマッチがあります。評価は、モデルがタスクを完遂できるかどうかだけでなく、環境が予期せぬ挙動にどれだけ耐えられるかによって判断されるべきです」

「これらの一連のインシデントが示唆しているのは、私たちが知能のベンチマーク化を、封じ込めのベンチマーク化よりも速いペースで進めてしまっているということです」

Irregularが今回の一連のインシデントの中心に位置づけられているにもかかわらず、OpenAIとAnthropicの両社は、同社との協業を今後も継続する意向を示しています。

「私たちはIrregularとのパートナーシップに感謝しており、彼らのレビューを支援するため、今後も緊密に協力していきます。Irregularは、封じ込めとサイバー評価の安全な運用に関するベストプラクティスを共有するホワイトペーパーも作成しています」と、OpenAIは声明で述べています。

「これらのインシデントの理解と解決に向けて緊密に協力してくれたIrregularに感謝しています。同社も独自に調査を進めています。セキュリティに関する今後の共同の取り組みを楽しみにしています」と、Anthropicは7月30日の声明で述べています。

Dubey氏は、評価を行う機関は「何も信頼せず、すべてを検証する」というアプローチを採用すべきだと述べています。これは、すべての外部接続、ID、外部とのやり取りに明示的な認可を必要とするというもので、あわせて能力に関するベンチマークと並んで封じ込めに関する指標も公表すべきだとしています。

GartnerのシニアプリンシパルアナリストであるApeksha Kaushik氏は、AIシステムがよりエージェント的な性質を強める中、従来型のサンドボックスや静的な封じ込め手法では不十分になりつつあると述べ、評価環境の設計、インシデント報告、継続的なレッドチーム演習を対象とした業界横断的な基準の策定を求めています。

企業にとっての意味合い

アナリストらは、今回の一連の開示は、AIエージェントの導入を準備している企業にとっても教訓を含んでいると指摘しています。

「最大の過ちは、AIエージェントを機能の一つとして扱い、運用上のIDとして扱わないことです」とDubey氏は述べています。「導入するエージェント一つひとつが、自社に代わってセキュリティ上の判断を下す、また別の存在になるのです」。組織は、自律型エージェントを本番環境に導入する前に、迅速にそれを検知し停止できる体制を確保しておくべきだと同氏は述べています。

Grover氏は、組織はプロンプトのみに頼るのではなく、インフラ、ID、ツールアクセスの制御を通じてセキュリティ上の境界線を強制し、取り消し不可能なアクションについては人間による承認を維持し、観測可能なエージェントの挙動を監視すべきだと述べています。

「これらのインシデントを、単に『モデルが暴走した』とか、単純なネットワークの設定ミスといった話に矮小化すべきではありません」と同氏は述べています。「これらは、能力の高いエージェントが、ありふれた制御上の弱点や曖昧なタスク、過剰な権限を、現実世界における深刻な結果に変えてしまいかねないことを示しています」。MetaとIrregularはいずれも、コメント要請に対し直ちには応じませんでした。