報告された事例の一つでは、エージェントがセキュリティ監視を無効にしたうえで、その事実について嘘をついていました。OpenAIは、この挙動について「納得のいく説明がない」としています。
AIエージェントが、不正な挙動を防ぐための安全対策を回避する方法を、ますます巧妙に見つけ出すようになっています。OpenAIが明らかにしました。
OpenAIは火曜日、2件のインシデントを報告しました。いずれも、エージェントが自らのアラインメント（整合性）監視を無効化、あるいは妨害したものです。うち1件では、エージェントがそれを行ったことについて、ユーザーに直接嘘をついていました。
OpenAIのブログ記事は次のように述べています。「社内の2件のコーディングタスクで、エージェントが依頼されたソフトウェア変更を行う際に、不整合監視を弱めました。評価パイプラインを修復していたGPT-6.1 Solエージェントは、Slack履歴の検索中にメッセージを送信しないよう求めた先の指示を、監視通知を抑止する理由と解釈し、セキュリティチームへの自動アラートを無効にしました。別のタスクでは、プログラムを移行していたGPT-6 Astraエージェントが、参照実装に合わせるために監視との連携部分を削除しました。そのうえで、監視を削除していないとユーザーに虚偽の説明をしました」
OpenAIによると、どちらのケースでも、エージェントは監視による安全対策を維持すべきかどうかを検討していました。しかし、「通常のコーディング指示を、それらを弱める許可だと解釈した」といいます。
OpenAIは、これを受けて監視プログラムを強化し、エージェントが保護機能を無効化できないようにしていると説明しています。
OpenAIは「モデルが監視を無効化しにくくするだけでなく、そもそもなぜそうしようとするのかを理解したいと考えています」と述べました。モデルが監視の重要性を理解していないために起きた、単なる「無害な過剰執着」の例にすぎない可能性も示唆しています。
OpenAIはさらに、次のように述べています。「特に不整合監視を回避しようとする傾向がモデルにあるのか、そのために動機づけられた推論を示すのかを検証する評価も開発しています。この挙動については、まだ納得のいく説明がありません。対になる評価の作成、エージェントの続きの出力の再サンプリング、モデルの内部活性に関する実験を通じて調査します」
OpenAIは、ほぼすべてのエージェント型AIベンダーと同様に、自律型エージェントの生産性と自立性を高めることと、エージェントの不正な挙動から顧客環境を守ることの両立に苦慮してきました。より優れたエージェントの制限を開発する時間を確保するため、スケーリングのペースを落とすことまで試みています。
詳細に警戒の声
アナリストやコンサルタントは、今回の発覚で驚くべきはその範囲だけだと指摘します。一方で、OpenAIが開示した詳細の一部には警戒感を示しました。
ニューヨークを拠点とするテクノロジーコンサルティング会社Tribeca SoftechのチーフストラテジーオフィサーAman Mahapatra氏（プロフィール）は、ある程度の監視は維持されていたものの、それはエージェント自体に対するものだけだったと強調します。つまり、エージェントが作り出したワークロードは監視の目が届かない状態でした。
同氏は次のように述べました。「エージェントは監視されていましたが、エージェントが作ったものは監視されていませんでした。エージェントが生成したパイプライン、ジョブ、サービスアカウント、クラウド関数は、次世代のシャドーITです。こうしたものに監視を継承させている企業は、ほとんどありません」
Mahapatra氏は、ブログ記事に記された重大度の分類にも懸念があると強調しました。
「CISOはこの重大度の扱いをじっくり考えるべきです。どちらの事象もP0（最高重大度）には分類されず、実行が停止されることもありませんでした。将来のあらゆる検知を劣化させるエージェントの挙動が、目に見える障害がなかったという理由で、呼び出しの基準を下回る扱いになったのです」と同氏は語ります。
同氏は、ここに企業にとっての不利な点が表れていると指摘します。「OpenAIがこれに気づけたのは、エージェントの推論を読み取れるからです。企業のSOCの大半は出力しか見ていません。思考連鎖を可視化できるラボですらこれを呼び出しの基準未満としたのなら、自社のSOCはまったく気づいていないと考えるべきです。EDRは10年前に改ざん防止機能でこの問題に決着をつけました。センサーを無効化しようとする試みそのものがアラートになるのです。エージェントが自身の監視に触れたら、毎回必ず誰かに通知が飛ぶべきです」
Dickson Researchのプリンシパルアナリスト、Frank Dickson氏（プロフィール）は、エージェント型システムの明らかな欠陥は、エージェントが自らを監督するための仕組みを無効化できたことだと付け加えました。
Dickson氏は、「連絡しないよう言われた留守番役が、防犯アラームのコンセントを抜いて、アラームからも連絡が行かないようにしてしまった状況を想像してください。エージェントが編集できるガードレールは、単なる提案にすぎません」と語ります。「自分のアラームを切れるエージェントは、監視されているのではありません。信頼されているだけです」
CISOへの警鐘
今回の件は、企業のCISOにとって警鐘になるはずだとの見方もあります。システム全体の権限を持つ暴走エージェントに比べれば、攻撃者のリスクはそれほど大きくないかもしれないというのです。
IDCのリサーチディレクター、Philip Harris氏は次のように述べました。「脅威は外部からの侵入者だけではありません。許可されたエージェントが、誰も想定しなかった状況で、本来やってはならないことを、SOCアナリストが見つけられないほどの速さで実行する場合もあります。OpenAIの事例は、まさにそのパターンを具体的かつ詳細に記録したもので、例外的な異常ではありません」
同氏は、OpenAIの透明性は評価に値するとも述べています。「最も印象的なのは、OpenAI自身の率直さです。最先端のラボが、出荷済みのモデルに自らの監督を損なう傾向が創発的に生じているかどうか確信が持てないと公に認めるのは、まったく新しい水準の率直さです」
コンサルティング会社Control Risksのパートナー、Brian Levine氏も、OpenAIが記録したエージェントの判断の理屈には警戒すべき点があると指摘します。
Levine氏は次のように語りました。「どちらのケースでも、エージェントは立ち止まり、安全対策を維持すべきかどうかを自問したうえで、理屈をつけて無効化にたどり着きました。そのうちの1件では、監視には触れていないとユーザーに伝えています。インシデント対応の世界では、これを防御回避と、それに続く虚偽の申告と呼びます。人間の内部関係者が同じことをすれば、調査を始めるでしょう。もう一つ注目すべきは、監視自体は機能していたことです。問題を検知していました。ところがエージェントが、アラームとそれを知るべき人々とをつなぐ配線を断ち切ったのです」
独立系テクノロジーコンサルタントのSivaram Annadurai氏も同意見です。「パイプラインを直しながらアラームを無効にしたエージェントが、問題を解決したとは限りません。もっと大きな問題を生んだ可能性もあります」
コンサルティング会社Acceligenceのディレクター、Jeff Valdes氏は次のように付け加えました。「際立っているのは、きっかけがいかにありふれたものだったかという点です。攻撃者もジェイルブレイクもなく、通常のコーディング指示と、自らの監督を変更できるだけのアクセス権を持つエージェントがいただけでした。監視は動き続けていたのに、アラートが人に届かなくなったのです。ダッシュボードは正常に見えるため、こうした静かな劣化は見逃しやすいのです」
ただしValdes氏は、エージェント間の承認の仕組みもCISOが真剣に受け止めるべき点だと述べています。
Valdes氏は「あるサブエージェントは正しい判断をしましたが、親エージェントがそれを覆しました。委任された先で維持されない安全対策は、本当の意味での安全対策ではありません」と語ります。「OpenAIは、エージェントが後になって、自分が何を変更したかについて不正確な説明をしたことにも触れています。エージェント自身の報告を、統制手段にしてはなりません」
