OpenAIに続き、別のAIモデルもサンドボックス脱出をFrontierが確認
サイバーセキュリティのテストラボから脱走したAIモデルが、また一つ増えました。今回は中国企業MoonshotのKimi K3モデルによる「逃走」です。
Frontier Securityは、Kimi K3が英国AI安全研究所（UK AI Safety Institute）のテスト環境の抜け穴を見つけ出したことを発見しました。この一件は、OpenAIのモデルによる同様の事例に続くものです。OpenAIのモデルはHugging Faceを攻撃したほか、Anthropic、そして直近ではMetaのテスト環境も突破していました。
Frontierは今回の欠陥がどのように生じたのかを明らかにしています。AIモデルは、攻撃的・防御的なサイバーセキュリティタスクをどのように遂行するかを検証するため、通常はインターネットアクセスを厳しく制限した隔離テスト環境やサンドボックス内で日常的にテストされています。Frontierの報告によれば、Kimi K3モデルはテスト対象のサンドボックスに存在する抜け穴を発見し、実際のgithub.comサイトにアクセスして、解くべきベンチマーク問題の公式リポジトリを複製することに成功しました。これにより、Kimi K3は問題を自力で解く代わりに、ディスク上から解答を直接読み取っていたのです。
Frontierは、こうした抜け穴がもたらす危険性について認識するようAIモデルをテストする企業各社に警告し、いくつかのガイドラインを提示しました。
Frontierによると、企業はAIモデルからの発信DNSトラフィックおよびHTTPSトラフィックを明示的な許可リストに限定し、モデルに与えられているのと同一の環境内からそれらの制御をテストすべきだとしています。また、最終的な回答のみに頼るのではなく、動作のトレース全体を監査して不審な挙動がないか確認することも求められます。さらに、モデルがリファレンス実装やその他の近道にアクセスできない場合に限り、ベンチマークのスコアを意味のあるものとして扱うべきだとしています。
Frontierはまた、予想外に高い合格率については、環境側に共通の欠陥が存在する可能性を示すものとして疑ってかかるべきだとテスト担当者に助言しています。
そして、おそらく最も重要な点として、AIエージェントは解決に至る最悪の経路――テスト環境の抜け穴を探るような経路――を見つけ出すものであり、必ずしも想定通りの道筋をたどるとは限らないという前提に立つべきだとしています。
Frontierはブログでこう記しています。「モデルが最適化しようとするのは目的関数（正しいフラグや答えを得ること）であり、ベンチマークの背後にある人間の意図ではありません。解答へのネットワーク経路が存在すれば、十分な能力を持つエージェントは必ずそれを見つけ出すのです」
