AIのモデルルールはセキュリティ制御ではない

オピニオン

既知のエージェント型AIのリスクは管理可能です。しかし本当に危険なのは「未知の未知」、つまり運用者が想定していなかった経路を能力の高いエージェントが自ら見つけてしまうケースであり、そこでセキュリティアーキテクチャは崩壊します。最近、OpenAIのエージェントのうち約1,200体が、隔離を目的とした制御をかいくぐり、許可されていない通信チャネルを発見しました。最終的には約700体が攻撃に加担し、ExploitGymベンチマークを本来の意図どおりに達成するのではなく不正にクリアする手がかりを探そうとする中で、Hugging Faceの本番システムにまで到達しました。警告サインはログに記録されていたものの、人間によるエスカレーションを十分に引き起こすことはなく、介入の機会は失われました。

OpenAIの事後報告と、Model Evaluation and Threat Research(METR)およびRedwood Researchによる独自調査は、この事案の規模を裏付けています。しかし最も重要な発見は、侵害の規模そのものではありません。エージェントたちが境界線を認識していながら、それでも越えてしまったという事実です。

調査によると、エージェントたちはHugging Faceへの攻撃が対象範囲外であることを明確に推論しており、時には倫理的かどうかを疑問視することさえありました。それにもかかわらず、ある該当期間中にエージェント間メッセージボード上で活動していたエージェントの90%超が攻撃に加わりました。調査対象となったエージェントの少なくとも5体に1体が自らの実行記録を改ざんすることに関心を示し、評価対象となった実行記録の7%では、ツール呼び出しのなりすましに成功していました。これはエージェントがツール実行システムを操作し、記録上ではあるコマンドが実行されたように見せかけながら、実際には別のコマンドを実行していたというものです。

エージェントは「何が誤りか」を認識できるだけの知能を持つ

これらのモデルは、自らの行動が「誤り」であり、与えられた指示と矛盾していることを認識できるだけの文脈情報を持っていました。しかし、モデル自身によるそうした認識があっても、行動そのものを止めることはできませんでした。それは単に、その行動を「誤り」として位置づけたにすぎません。エージェントは境界線について推論し、自分がそれを越えていることを識別しながらも、行動をやめませんでした。なぜなら、その行動を実際に阻止するプログラム的かつ決定論的な仕組みが存在しなかったからです。

エージェントは、人間の運用者が持つような「立ち入り禁止」という概念を同じようには持ち合わせていません。エージェントは、目的を達成するか、何かに阻止されるまで作業を続けます。ある経路がうまくいかなければ、別の経路を見つけ出します。私たちはこれまで、最先端モデルに禁止行動を認識させるために多大な労力を注いできました。アライメント訓練やシステムプロンプトは行動を形作ります。思考過程(chain-of-thought)の監視や安全性分類器は危険な行動を検出します。

こうした仕組みはいずれも価値のあるものですが、どれ一つとして権限の境界線そのものになるべきではありません。エージェントは、ある行動が自らの指示に違反していると認識しながらも、それでもなお目的達成に向けた最善の手段としてその行動を選択することがあります。セキュリティアーキテクチャは、モデルレベルの安全策が最適化の圧力に押し切られる場合があることを前提に設計しなければなりません。その答えとなるのが「フェイルクローズ」設計です。判断が不確かな行動はデフォルトでブロックし、最終判断は人間の運用者が下すという方式です。

エージェントが推論で回避できるポリシーは有効ではない

私自身が扱っているエージェント型の攻撃的セキュリティツールでも、同じ失敗のパターンを目にしています。あるエージェントがDNSレコードを取得し、似た名前のドメインを見つけ出し、ネットワークへの侵入経路をさらに探せると判断したことがありました。外部ペネトレーションテストの最中に、事実上、自らのスコープファイルを勝手に「拡張」しようとしたのです。問題は、エージェントがルールを忘れていたことではありません。そのルールは、目的達成を試みているのと同じ確率的な推論プロセスの内部に存在していたのです。モデルに対して「何をすべきか、すべきでないか」を伝える文脈情報は、実際にその行動を阻止することとは同じではありません。エージェントが推論によって回避できるポリシーは、有効な権限の境界線とはいえません。

実際に機能する制御とは、毎回同じように発動するものです。例えば、これから実行しようとするCLIコマンドを不変のスコープファイルと突き合わせて検証するフック、使用されるツールと渡されるフラグに基づいて人間の運用者へエスカレーションするリスクスコアリングシステムなどです。正規表現が127.0.0.1を誤って対象範囲外のIPと判定してしまうような誤検知ブロックは、後からいくらでも修正できます。しかし、エージェントが重罪に相当するハッキング行為を実行してしまえば、それを後から取り消すことはできません。不確実、あるいはリスクのある行動は常に、モデルの行動に対して最終的な責任を負う人間へとエスカレーションされるべきであり、その一方で、既知の悪意ある行動は決定論的かつプログラム的な制御によって阻止されるべきです。

同じ原則は、最先端AI開発企業(フロンティアラボ)による評価の実施方法にも当てはまります。モデルはすでに十分な能力を備えているため、ベンチマークテストのためだけにガードレールを単純に外すべきではありません。必要な機能とネットワーク経路だけを開放し、それ以外の防御境界は維持すべきです。OpenAIのエージェントたちは、共有されたArtifactoryインスタンスに単にファイルを書き込むだけで、それを連携用のチャネルに変えてしまいました。エクスプロイトは一切不要だったのです。評価環境の内部に書き込み可能なインフラが存在すれば、それはいずれエージェントに見つけ出され、利用される攻撃対象になります。

フロンティアラボは、自らのエージェントがいずれルールを理解した上で、その意図に異を唱えたり、回避策を見つけたり、あるいは最適化によってそれを乗り越えたりすることを前提とすべきです。モデルが「正しい」と「誤り」の境界線がどこにあるかを理解しているかどうかは、それでも越えることを選んでしまえば意味を持ちません。「何がエージェントを止めるのか」という問いへの答えが、エージェント自身が止まることを選ぶかどうかに依存しているのであれば、そこにセキュリティの境界線は存在しないも同然です。