OpenAIのAIミスアライメント問題、深刻化の一途

OpenAIのミスアライメント（意図からの逸脱）問題は、悪化の一途をたどっているようです。同社のモデルが示す憂慮すべき過剰な振る舞いを詳述した報告書が、新たに3件公開されました。

場当たり的に実施されたミスアライメントのテストで、OpenAIのモデルは制限された情報にひそかにアクセスする巧妙な方法を見つけ出しました。プロキシやファイアウォールの設定をごまかして突破し、インターネットツールを巧みに使いこなし、さらにはリセットを引き起こすために自らのタスク環境を破壊したケースもあります。

これらの報告書が公開されたのは、OpenAIが別の3件を報告してからわずか1週間後のことです。前回の報告では、モデルが非公開のSlackメッセージにアクセスして自らが停止される可能性を知り、それを防ぐ方法を提案したこと、脆弱性を悪用してテストで不正を働いたこと、自身のワークスペースでは入手できない情報を取得したことが説明されていました。

こうしたインシデントの増加と深刻化を受け、エージェント型AIにはより厳格なガードレールと統制が必要だとの声が高まっています。たとえばMicrosoftのCEOであるSatya Nadella氏は、自身の個人ブログで、業界は「一歩引いて、この新しい時代のトラスト・アーキテクチャを評価し直す」必要があると述べています。

自らのテスト環境を破壊

OpenAIがミスアライメントの監視を強化したのは、2026年7月のHugging Faceインシデントがきっかけです。この事案では、OpenAIの自律型リサーチエージェントがサンドボックスを脱出し、Hugging Faceのインフラを標的にしました。さらにここ数カ月の間には、数百のエージェントがRubyGemsプラットフォームを攻撃し、ドイツのプログラミング系wikiサイトも標的にしていました。

新たな報告書の一つでOpenAIは、他の複数モデルの採点を任された社内モデルが、意図した結果にたどり着けなかったとき、自らの環境を破壊する方法を見つけ出した経緯を説明しています。

採点モデルは、7つの異なるモデルからの7件の回答を比較する際、各回答の背景にある会話の文脈と作業内容を調べ、入力ファイルにさかのぼれる情報を含める必要がありました。

モデルには次のように指示されていました。会話の文脈は、任意の背景情報ではなく、採点に**必須**の入力である。

モデルは必要な入力ファイルが存在しないことに気づきましたが、それでも裏付けとなる情報のないまま評価の提出を試みました。これらは自動チェックによって却下されています。さらに、偽の会話ファイル7つと、捏造した情報を含む偽の回答ファイル7つを作成しましたが、これらも却下されました。

OpenAIは「モデルは、採点の根拠となる証拠が欠けており、『ランダムな採点』は『非倫理的』だと認識しながらも、任意のスコアの提出を検討した」と説明しています。モデルはまた、プレースホルダーのレポートを提出して自動チェックを試し、レポートにどんな情報を含める必要があるか、何件の回答を採点すべきかを探っていました。

こうした失敗の後、モデルはタスク環境を破壊することを決めました。おそらく、ホスト側が不足している入力を含む環境に置き換えてくれることを期待したとみられます。モデルは自らのツールの実行に必要なソフトウェアを削除し、システムディレクトリの削除も試みました。

誤った採点や捏造された採点は自動チェックで却下されましたが、OpenAIは「このインシデントは、受理された結果を生まずに失敗またはクラッシュした試行も含め、採点モデルの行動全体を監視の対象にしなければならない理由を示している」と記しています。

正答を得るためにルールを破り、証拠を隠蔽

別の事例では、OpenAIのモデルがインターネットアクセス制限を回避する方法を開発し、試していました。

このモデルは、特定地域の教員給与、電力網への接続、障害者数に関する質問を与えられていました。使用できるのは基本的なHTTP GETによるデータ取得リクエストに限られていましたが、OpenAIは「モデルはこの制限を回避すべきものとして扱うことがあった」と説明しています。

モデルは外部リソースに接続する別の方法を探りました。たとえば、仲介役のプロキシサービスが他の種類の接続も通せるか、外部サービスが代理でリクエストを送れるかを調べています。場合によっては、必要な統計をすでに入手した後も、こうした別の手段の探索を続けていました。

OpenAIは「これらの事例は、必要な情報を得るうえで追加のアクセスが不要な場合でも、モデルがアクセス制限を回避する方法を開発し続ける可能性があることを示している」と記しています。

公的統計に関わる3件目の事例では、OpenAIのモデルがインターネットアクセスの制限を回避し、政府の公開データソースから数値を取得する方法を見つけ出しました。

この実験のモデルもHTTP GETリクエストに制限されていましたが、OpenAIによると「他の種類のリクエストを送信するためのカスタムプログラムを作成した」といいます。

あるモデルはこうしたプログラムの一つを使って一般公開されているダッシュボードに問い合わせました。自らの行動が制限に違反していると「明確に認識」していながら、必要以上に多くのデータを収集し続けました。その後、自らが行ったことを開示しない判断を下しています。

別のモデルは、使い捨てのメールアドレスを使ってあるサイトのアカウントを作成・認証し、一般公開されているデータをダウンロードしました。

OpenAIは「これらの事例は、正しい答えが得られているだけでは、モデルが適切に振る舞ったことの証明にならない理由を示している」と述べ、「モデルは禁止された手段で正確な情報を入手し、その方法を意図的に隠蔽する可能性がある」と指摘しています。

OpenAIは、これらのインシデントなどを受けて、セキュリティ統制を強化し、トレーニング中にモデルがライブのインターネットにアクセスするのを防ぐ「追加の措置」を講じ、アライメントの採点を改善したとしています。また、ミスアライメントの監視を「すべての強化学習と評価のトラフィックに拡大した」ということです。