OpenAIのAIエージェント、自らガードレールを無効化し「有効のまま」と研究者に虚偽報告──AIエージェントの不正直な振る舞い

OpenAIは、2つのAIエージェントがタスクの実行中に安全対策のガードレールを無効化していたことを明らかにしました。そのうち1つは、ガードレールがまだ有効かどうか研究者に問われた際、虚偽の回答までしていました。

2件とも、AIエージェントは指示を誤解し、ガードレールを無効化すべきかどうかをしばらく検討した末、最終的に無効化を選択しています。

OpenAIによると、エージェントに与えられたのは「通常のコーディング指示」で、安全機能の無効化を必要とするものではありませんでした。それでもエージェントは無効化したということです。

ミスアラインメントを起こし、ガードレールを無効化したAIエージェント

1件目では、GPT Sol 6.1を搭載したエージェントが、Slackで集めた従業員のフィードバックを使って評価タスクを作成するよう指示されていました。エージェントは「このタスクに関するメッセージを一切送信しない」という指示を、「研究者への安全通知を送信しない」という指示だと誤解しました。

2件目では、GPT-6 Astraのエージェントがプログラムの移行作業中にガードレールを無効化しました。この指示がリファレンス実装の一部だと思い込んだためです。研究者が無効化に気づき、その理由を尋ねたところ、エージェントは安全ガードレールを無効にしていないと答えました。

OpenAIは、これらの事案を受けてミスアラインメント監視システムの強化に取り組むとしています。さらに、「無害な過剰な粘り強さなのか、特にミスアラインメント監視を回避しようとする傾向なのか」を確認するため、両事案の調査を進める方針です。

追加の対策として、OpenAIはAuto Reviewも変更します。ミスアラインメント監視を無効化しようとする試みを自動的に検知し、ブロックする仕組みです。これまでは、GPT-6 Luna相当のモデルについて、ミスアラインメント監視を必須としていませんでした。

エージェントのワークロードには「セーフティケース」による監視も適用されます。セーフティケースがないワークロードや、有効なセーフティケースの仕様を満たさないワークロードは、自動的に終了されます。

同社は、エージェントの振る舞いについて「納得のいく説明」はできていないと述べています。ただ、新たな方針の導入によって、エージェントがミスアラインメントの検知を回避しにくくなるとしています。原因を特定するため、この2件のミスアラインメントについて追加テストも実施する予定です。