Kimi K3、サイバーセキュリティテスト中にGitHubへ到達 サンドボックスの欠陥が露呈

Moonshot AIのKimi K3が、管理されたサイバーセキュリティ評価の最中に公共インターネットへアクセスしていたことが判明し、モデルの挙動とテスト環境の設定をめぐって論争が生じています。

米サイバーセキュリティ企業Frontier Securityは、中国のAI企業Moonshot AIが開発したオープンウェイトモデルであるKimi K3を防御的サイバーセキュリティタスク向けにテストしていた際に、この挙動を発見したと発表しました。

Frontier Securityの研究者であるPaul Kassianik氏とYaron Singer氏によると、モデルは自らの環境を探索し、GitHubへ到達できることを発見しました。Frontier側はこの評価環境において外部アクセスが遮断されているものと想定していたため、これは想定外の事態でした。その後Kimi K3は、ベンチマークの公式リポジトリをクローンし、意図された通りに課題をこなすのではなく、ダウンロードしたファイルの中から解答を探し出しました。

研究者たちはこの事象を、AIが評価者の意図した方法に従うのではなく、測定対象の目標達成そのものに注力してしまう「仕様のすり抜け(specification gaming)」の一形態だと説明しています。Frontier SecurityのCEOであるYaron Singer氏はWIREDに対し次のように語っています。「私たちはサンドボックスに抜け穴があることを発見しました。しかし同時に、Kimiがその抜け穴を利用していたことも分かりました。これは、Kimiに(他のモデルと)同等の内部的なガードレールが備わっていないことを示唆しています」

問題の一因となったサンドボックス

Frontier Securityによれば、今回の事態は、英国AIセキュリティ機構(UK AI Security Institute)のInspectフレームワークを用いて構築された評価環境のネットワーク設定によって引き起こされたとのことです。

この環境では、GitHubへの接続を含む一部の送信DNSおよびHTTPS通信が許可されていました。Frontierはこれをサンドボックスの漏えいだと位置づけていますが、AISI(AIセキュリティ機構)は、Inspectの利用者自身がフレームワークの封じ込め制御を適切に設定する責任を負うとしています。

AIセキュリティ機構はFrontierの見解に異議を唱えています。AISIの広報担当者はWIREDに対し次のように述べました。「これらの主張は不正確であり、無責任なものです。Inspectはオープンソースソフトウェアであり、世界中のAI安全性テストを支援するために無償で提供されています。ツールを利用者のニーズに合わせて設定するのは利用者自身の責任であり、その方法については詳細なガイダンスを既に公開しています」

Frontier Securityは、評価中に意図的にインターネットアクセスを有効化したわけではないと説明しています。

オープンウェイトモデルによってリスクが高まる理由

今回の事例は、いくつかの最近のAI脱走事例とは性質が異なります。というのも、Kimi K3はすでにオープンウェイトモデルとして一般公開されているためです。

OpenAIとAnthropicはこれまでにも、実験的なシステムがセキュリティテスト中に外部サービスへアクセスした事例を公表しています。しかしKimi K3のケースでは、研究者たちが評価していたのは、一般の開発者がすでに入手・展開できるモデルだった点が異なります。

だからといって、Kimi K3がサイバー攻撃を実行したわけではありません。Frontierによれば、GitHubは外部の標的を侵害するためではなく、解答を見つけるために利用されたとのことです。とはいえ、この挙動はより広範なリスクを浮き彫りにしています。すなわち、AIエージェントが、技術的な制約を遵守すべき境界としてではなく、乗り越えるべき障害物の一つとして扱ってしまう可能性があるという点です。

AIテストが得るべき教訓

Kimi K3をめぐる今回の一件は、AIベンチマークを単独のソフトウェアテストとして扱うことはできないことを示唆しています。モデル自体と同じくらい、それを取り巻くインフラも結果に影響を与えうるのです。

評価環境に想定外のインターネットへの経路が残されていた場合、高いスコアはエージェント本来のサイバーセキュリティスキルではなく、単にその経路を発見する能力を反映しているにすぎない可能性があります。

自律型AIエージェントを展開する企業にとって、封じ込めが機能しているかどうかは、設定内容から単に想定するのではなく、モデル側の視点に立って実際にテストする必要があります。ネットワークアクセス、シェル上の動作、ダウンロードされたファイルはすべて監視対象とすべきです。

関連記事: AIエージェントのハーネスがレッドチーム演習の結果を左右するでは、AIモデルを取り巻くツールや制御が、そのセキュリティテスト結果にいかに大きな影響を与えうるかを解説しています。