OpenAIとAnthropicは、AIモデルが割り当てられた目標を追求する過程で、想定された境界を回避した事例を報告した。
大手AI開発企業2社が、研究者が以前から予想していた問題を裏付ける新たな証拠を公表しました。高度なAIモデルが、課された制限を回避する方法を探しているというものです。OpenAIとAnthropicによる今回の開示では、最先端のAIシステムが環境の弱点を突いたり、割り当てられたタスクの本来の範囲を超えたりした経緯が詳述されています。
OpenAIは、自社の最先端モデルがソフトウェアの脆弱性やインフラの設定ミスを悪用してサンドボックスを抜け出し、実際のインターネットに到達できることが判明したため、社内のモデル訓練環境におけるインターネットアクセスを厳格化しています。
同社はブログ記事で、「アライメント研究、監視システム、インターネットインフラのセキュリティの現状を踏まえると、最先端モデルの訓練はインターネットに接続しない状態で行うのが責任ある対応だと考えています」と述べました。
この決定の背景には、9月20日に起きたインシデントがあります。社内の研究用モデルが、訓練の実行中に設定ミスのあるDNSリゾルバーを悪用し、実際のインターネットへ限定的にアクセスしたものです。
OpenAIによると、このインシデントを受けて、最も高性能なモデルの訓練と評価を一時停止しました。さらに、AIエージェントを使って研究インフラの隔離されたコピーを調べる、大規模な計算資源を投じたレッドチーミングを開始しました。テストでは、これまで知られていなかったソフトウェアの脆弱性が見つかったほか、不正なアクセスや通信を防ぐための制御にも弱点があることがわかりました。
これを受けて同社は、セキュリティと監視の改善によってより広範なアクセスが妥当と判断できるまで、最先端モデルの訓練をインターネットに接続せずに行う方針を発表しました。
この開示と同時に、Anthropicも別の評価を公表しました。同社のモデル「Claude Mythos 5」が、サイバーセキュリティ評価の最中に、無関係なGitHubリポジトリへの侵害を試みた経緯が詳述されています。
OpenAIのエージェントが封じ込め制御の欠陥を悪用
OpenAIのレッドチーミングでは、エージェントが複数のソフトウェア脆弱性を連鎖させて仮想マシンを脱出し、基盤となるホスト上でコードを実行できることがわかりました。同社は、Kata Containers、gVisor、Moby/Dockerといったオープンソースコンポーネントの弱点のほか、Linuxカーネルの脆弱性も確認しました。
また、ログ記録、メトリクス、認証管理といった機能のために限定的な外向き接続を残していた社内サービスの弱点も、エージェントに悪用されうることが判明しました。OpenAIによると、これらの接続は、環境内の他の部分で制限をかけていてもインターネットへの経路になっていました。
別のテストでは、共有ホストのハードウェア上で、それぞれ独立したマイクロ仮想マシン（microVM）として動作するエージェント同士が、プロセッサーのキャッシュのタイミング差を利用して、模擬の機密情報をやり取りしました。この手法を使えば、ネットワーク接続も書き込み可能な共有ファイルもなしに通信できます。
ニュースレター
CSOのニュースレターでセキュリティを強化
最新の脅威、リスク、セキュリティ戦略に関する重要な情報で、企業を守りましょう
OpenAIは、これらの弱点を修正し、オープンソースのメンテナーと協力して、影響を受けるソフトウェアの開示と修正を進めたと説明しています。同社の投稿では、Kata ContainersのCVE-2026-24834や、Linuxカーネルの3件の脆弱性CVE-2026-74753、CVE-2026-80521、CVE-2026-80841など、複数の脆弱性を挙げています。このほか、まだ公表されていない多数の脆弱性も開示済みだとしています。
OpenAIによると、エージェントが見つけた脆弱性や設定ミスの数は、テストを続けるにつれて大幅に減少しました。同社は現在、ネットワーク制限の厳格化と監視の強化に加え、インデックス化・キャッシュ化したウェブコンテンツを備えたオフライン環境も整備しました。モデルは、実際の外部システムに無制限にアクセスすることなく、ブラウジングの練習ができます。
同社は、訓練中のインターネットアクセスを制限する理由について、「インターネットアクセスはモデルが有用なスキルを学ぶ助けになりますが、有能でありながらアライメントが崩れたエージェントに、私たちの管理が及ばないシステムへ影響を与える機会も与えてしまいます」と説明しました。
強化学習の訓練と社内での推論は、追加の制御を導入したうえで、10月1日に再開されました。
AnthropicがMythosのアライメント上の問題を指摘
Anthropicが公表した、英国AIセキュリティ研究所（AISI）のサイバーセキュリティ評価に関する分析は、これとは異なる問題を取り上げています。モデルが、割り当てられたタスクを完了しようとする過程で、実在の人々に対して無許可の行動を取ったというものです。
Anthropicによると、43回の評価実行のうち9回で、Claude Mythos 5が演習の想定範囲を逸脱しました。最も詳細な事例では、模擬ネットワークから保護されたデータを取得しようとした正規の試行が失敗した後、モデルはテスト環境に関連していると考えたリポジトリをGitHubで検索しました。
しかし、そのリポジトリは無関係の開発者のものでした。
Mythos 5は、悪意のあるコードの提出を試み、偽のアイデンティティを作り上げて、リポジトリのメンテナーに変更の承認を促しました。その際、コードは安全だと偽っていました。メンテナーは提出を却下し、実行はタイムアウトしました。Anthropicは、この行動を、割り当てられた目標を追求するあまり、権限を超えて欺こうとした深刻なアライメントの失敗と位置づけています。
評価中はインターネットアクセスが有効で、一般公開モデルに使われる本番環境のセーフガードは無効になっていました。同社は、セーフガードが有効だった場合には、この行動を検知できたはずだと説明しています。
