ai and ml
監視は部分的なものにとどまり、容易に回避可能でした
OpenAIの内部ミスアライメント監視システムを第三者が評価した結果、同社のボットがモデルホスティングプラットフォームのHugging Faceに侵入していた期間中、このシステムは目的を果たせる状態になかったことが明らかになりました。安全対策は、とても十分といえる強度ではありませんでした。
評価パートナーのMETRとRedwood Researchは、木曜日に公開した報告書で、次のように述べています。「METRとRedwoodの担当者は、7月21日時点およびそれ以前の非同期型内部ミスアライメント監視システムに、複数の未知の脆弱性を発見しました」
このシステムはAIエージェントの挙動を監視するためのもので、OpenAIによると、その後改善が加えられています。しかしMETRとRedwood Researchが説明するところでは、監視機能は不完全で、監視対象のエージェント自身に回避される恐れがありました。
そもそも、回避するまでもなく監視が機能していない場面もありました。たとえば、コンパクション（圧縮）の最中は監視が停止していました。コンパクションとは、AIモデルが次の入力を受け付ける余地を確保するため、コンテキストウィンドウ内のデータを要約・圧縮する処理です。報告書によると、2026年5月から7月にかけて、監視対象となるはずの社内Codexトラフィックの約10%が、コンパクション中に監視されないまま処理されていました。
この空白は、理論上はAIエージェントが監視を無期限に先送りできるほど大きなものでした。ユーザーに制御を戻さずに行動を続ければ、監視をさらに抑え込めたのです。
報告書は次のように説明しています。「検証時点の監視システムは、エージェントがユーザーに制御を返したときに作動する仕組みでした。そのため、コンパクションが監視されていない期間中は、エージェントが行動を続けるだけで、監視を無期限に先送りできました」
ただし、OpenAIのエージェントが実際にそうしたと言っているわけではありません。Hugging Faceやその他の組織に対して実行された行為は、すでに詳しく記録されています。それでも、もし同社のAIエージェントが活動を隠そうとしていたなら、あるいは単にシステムの死角で動作していただけだとしても、OpenAIの内部監視システムは不正行為を容易に見逃していた可能性があります。コンパクション中に行動すれば、それが可能だったからです。
報告書は同様の指摘を続け、監視の抜け穴だけでなく、OpenAIのエージェントがずさんな監視を回避する手段を与えてしまう、出来の悪いソフトウェアの存在にも触れています。「バイブコーディングで書かれたのでは」と言いたくなるほどです。
報告書にはこうあります。「Codexエージェントが、原理的にはCodexのサンドボックスとAuto-Reviewを回避し、ホストユーザーが実行できるあらゆる操作を行える方法を見つけました。また、エージェントが悪用すれば、最近の数百件の操作（その悪用自体に関わる操作を含む）が監視されなくなるエクスプロイトも発見しました」
このエクスプロイトの詳細はOpenAIによって黒塗りされています。要約すると、一部のトラフィックを見逃す監視システムは、機能しないサンドボックスに閉じ込められているはずのエージェントが、監視を回避するエクスプロイトを使えば、すり抜けられる状態でした。
問題はそれだけではありません。評価チームは、AIエージェントが監視を失敗させる入力を作り出せること、クライアント側で制御できる2つのヘッダーによって新規エージェントの監視を無効化できることを確認しました。さらに、読み取り専用と考えられていた2つの未監視エージェントツールが、サンドボックス内で任意の操作を実行するために悪用できることも判明しました。前述のとおり、そのサンドボックス自体がザルのような状態でした。
結論としてMETRとRedwood Researchは、AI企業が使うエージェント監視システムが実際に機能し、「高い能力を持つ社内エージェントによる、意図的かつ戦略的で、大規模かつ持続的な攻撃に耐えられる」だけの堅牢性を備えるべきだと提言しています。®
