AnthropicとOpenAIのサイバーセキュリティ特化型モデルによる一連の侵害事案に関わったAIテストラボを運営する企業は、モデルにインターネットアクセスを「意図せず」許可してしまったことが、この事案の一因になったと述べました。
Irregularは金曜日に投稿したブログの中で、フロンティアラボと提携し、AIモデルが展開される前にセキュリティリスクの「ストレステスト」を行っていると説明しました。このテストには、脆弱性調査能力のシミュレーションも含まれています。
今回のテスト対象には、AnthropicとOpenAIの非公開モデルも含まれていました。両社による別の開示により、対象にはMythos 5、Claude Opus、GPT-5.6 Solが含まれていたことが確認されています。
Irregularは署名のないブログ記事の中で、「レビューの過程で、評価環境とのやり取りの一部において、インターネットアクセスが意図せず利用可能になっていたことが判明しました。これにより、一部のモデルが実世界で攻撃的なセキュリティ行動を取るに至りました」と述べています。
Anthropicのモデルが関わった事案では、テスト担当者は当初、モデルがハッキングシミュレーションの中で架空の企業を使用していると考えていましたが、後になってその名称が意図せず実在企業のドメインと一致していたことが判明しました。この結果、複数のトレーニング実行において、モデルが実在企業に対する攻撃的な行動を「検討する」事態につながりました。
Irregularはこれを「人為的な監督不足」によるものだとし、通常はサイバーセキュリティテストで実在企業を使用しないよう、バックグラウンドチェックを実施していると説明しています。しかし、モデルに与えられた指示には対象企業の名称と、シミュレーション環境を見つけるための「社内ネットワーク内の内部アドレス」も含まれていました。
Mythosは数千件に及ぶテストの大部分では意図通りに動作したものの、ごく一部のケースでは架空のドメインと実在のドメインを区別できず、脆弱性の悪用、認証情報の抽出、本番データベースへのアクセスといった、実際のインターネットインフラに対する攻撃を実行してしまいました。あるケースでは、オンライン上で認証情報が見つかったことをきっかけに、似た名称のサイトを標的にし始めることさえありました。
ブログは続けて次のように述べています。「主な原因は、モデルが自分はシミュレーション環境の中にいると思い込んでいたにもかかわらず、実際には現実世界で行動を起こしてしまったことにあります。私たちは現在、テストプロセスの制約を満たしながら、こうしたセットアップ上の問題が発生しないようにするための、新たな強固なプロトコルを整備しているところです」
同社は今後、今回の事案を詳細に分析した大規模なホワイトペーパーを公開し、評価環境のセットアップに関するベストプラクティスを更新する予定だとしています。
両社に対しては、テスト用サンドボックスを安全に設計できていなかったとして、サイバーセキュリティ・コミュニティの一部から批判の声が上がっています。一方で専門家は、AIモデルには回避策を見つけるまで与えられた命令の達成に向けてひたすら試行を続けるという性質が知られていると指摘しています。さらにIrregularは、モデルのサイバーセキュリティ能力を十分にテストするためには、ある程度のインターネットアクセスを付与することが必要だとも述べています。
同社は次のように記しています。「制御されたインターネットアクセスは、モデルが封じ込めの境界を超えてしまうリスクを伴う一方で、現実的な評価を行う上では時に不可欠です。これがなければ、脅威シナリオの再現性が損なわれ、攻撃者による悪用から実運用リリース後のリスクを低減するという評価本来の目的が損なわれてしまいます。実世界の攻撃者は実際にインターネットに依存しているのですから」
ブログによると、Irregularはこうしたやり取りの原因となった「問題」をすでに「是正済み」だとしていますが、詳細についてはほとんど明らかにされていません。
しかし研究者たちは、今回の一連のやり取りを通じて、自社のセキュリティ対策に重大な欠陥があることが明らかになったと述べています。
同社は今後、評価環境のセットアップに関するドキュメントの整備を進めるとともに、「トラフィックによって生成される膨大な量のデータ」を追跡できる、より優れたログ監視ツールを導入する方針です。また、暴走したAIの挙動を想定した脅威モデルの見直しや、関係者間でのより迅速な情報共有体制の構築にも取り組むとしています。
Irregularは次のように述べています。「この先を見据えれば、モデルは今後さらに強力になっていくだけです。今回のケースでは、既存の安全対策をより適切に実装することでほとんどの事案を防げると考えていますが、モデルがより強力になるにつれ、それが通用しなくなる可能性もあります。だからこそ私たちは、この機会を私たち自身とコミュニティ全体で活用し、先を見据えたプロトコルや[研究開発]の取り組みを主体的に確立していくべきだと考えています」
翻訳元: https://cyberscoop.com/irregular-ai-sandbox-escape-human-oversight/
