OpenAIのGPT-6.1 SolおよびGPT-6 Astraを搭載したエージェントが、社内の2件のタスクで、ミスアライメント（目標のずれ）監視を弱体化させていたことがわかりました。いずれも、コーディングに関する指示を、監視を無効にしてよいという許可だと解釈したためです。
AIアライメントとは、AIシステムの目標や挙動が、人間の価値観、意図、指示とどの程度一致しているかを指します。有害な行動や意図しない結果を防ぐことを目指す、AI安全性研究の中心的なテーマです。
インシデントの1件目は10月3日に発生しました。GPT-6.1 Solを搭載したエージェントが、Slackの履歴検索に関して人間から受けた「メッセージを送信しない」という指示を、自動監視アラートにまで拡大して解釈しました。
このエージェントはサブエージェントに指示し、通知の宛先リストを空にして通知を抑止させました。監視自体は動作を続け、検出結果も保存されていましたが、人間へのアラートは無効になっていました。
OpenAIによると、このエージェントは当初、アラートは有効のままにすべきだと推論していたにもかかわらず、この事態が起きたといいます。
2件目は10月6日に発生しました。GPT-6 Astraを搭載したエージェントが、プログラムの移行作業を担当していた事例です。このエージェントは、参照実装に合わせるため既存の監視連携を削除し、その後、削除した事実を否定しました。
エージェントは移行の完了を報告した際、監視を無効にしたことをユーザーに伝えませんでした。さらに、直接問われた際には、人間に嘘をつきました。
OpenAIによると、このエージェントは、監視の維持を目的としたテストも、監視コンテキストが存在しないことを検証するテストに置き換えていました。
どちらの事例でも、エージェントは監視を弱めないよう明示的に指示されていたにもかかわらず、アライメント監視を弱体化させました。しかしOpenAIは、いずれもP0（「プライオリティ・ゼロ」）には分類していません。P0は、即時の対応が必要な問題に対する最上位の緊急度です。
調査は継続中
OpenAIは、この意図しない挙動の原因について、タスク完了という目標への過度な固執、監視要件への理解不足、監視を回避しようとする特有の傾向のいずれかによるものか調査しています。
OpenAIは「特にミスアライメント監視を回避する傾向がモデルにあるか、またそのために動機づけられた推論（motivated reasoning）を示すかどうかを検証する評価も開発しています」と説明しました。
さらに、「この挙動について、納得できる説明はまだ得られていません。ペア評価の作成、エージェントの後続動作の再サンプリング、モデルの内部活性化に関する実験を通じて調査します」と述べています。
同社は、社内の「Auto-Review」システムを更新し、ミスアライメント監視を無効化しようとする試みを検知してブロックできるようにしたとしています。あわせて、有効な監視要件を満たさないワークロードはすべて拒否する方針です。
