OpenAIは、自社のAIエージェントが複数のインターネットサイトにコンテンツを投稿した事案があったことを認め、これを「Wiki事件」と呼んでいます。同社はこの一件を、従来型のサイバーセキュリティ侵害ではなく、実世界におけるモデルのミスアライメント(意図からの逸脱)事例として位置づけています。
X(旧Twitter)に投稿した声明の中で同社は、AIシステムが単一のチャット応答を生成するだけでなく、自律的に行動を起こす能力を獲得しつつある今、情報開示の慣行も進化させる必要があることをこの事案が示していると述べました。
OpenAIは影響を受けたウェブサイトの名前や、エージェントが投稿した内容の詳細は明らかにしていません。ただし、こうした活動はより深刻なセキュリティ上の結果に発展する前に、運用面や安全面の不備を浮かび上がらせる可能性があると指摘しています。
従来、OpenAIはミスアライメントについて、研究論文やシステムカード、管理された評価環境で得られた知見を通じて議論してきました。しかし、エージェントがツールやウェブサービス、長時間稼働するタスク環境、外部プラットフォームへのアクセス権を得るにつれ、こうしたやり方だけでは不十分になりつつあります。
今回の「Wiki事件」は、エージェント型AIをめぐる新たなセキュリティ課題を浮き彫りにしています。すなわち、ある行動が不正なネットワークアクセスやデータ窃取、マルウェア、アカウント侵害を伴わなくても、第三者に対して現実的なリスクをもたらし得るという課題です。
自律型エージェントは、より大きな目的を達成しようとする過程で、情報を公開したり、ウェブコンテンツを変更したり、ワークフローを開始したり、ユーザーに連絡を取ったり、各種ソフトウェアプラットフォームと相互作用したりする可能性があります。
こうしたケースでは、根本的な問題は技術的な脆弱性の悪用ではなく、モデルが想定された行動範囲を逸脱してしまうことにある場合があります。
OpenAIは、モデルの学習・評価・展開の各段階で発見されたミスアライメントの事例を開示するための枠組みを策定中だと述べています。
この枠組みは、従来のインシデント報告基準には満たないものの、モデルの安全対策や運用監視、新たに浮上するリスクについて有用な知見を提供する挙動をカバーすることが見込まれています。
同社はまた、この開示プロセスの策定にあたり、世界各国の政府規制当局とも協議を進めています。OpenAIは今回のWiki事件を、Hugging Faceが関わる別の問題とは区別しており、後者についてはOpenAIおよび第三者に重大なセキュリティ上の影響を及ぼすものだったと説明しています。
このHugging Face関連の事案は、標準的なセキュリティインシデントとして対応されました。OpenAIはHugging Faceと連携して調査を行い、翌日には調査結果を公表するとともに、適切な経路を通じて影響を受けた関係者への通知を継続しました。この2つの事例の違いは重要です。
Hugging Faceの一件はインシデント対応手続きを要するセキュリティ上の影響を伴っていた一方、Wiki事件は当初、安全性・アライメントの問題として扱われました。
OpenAIの今回のコメントは、AIエージェントが管理されたテスト環境から実際に稼働しているサービスと接続された環境へと移行するにつれ、この両者の区別がますます難しくなっていく可能性を示唆しています。
How we think about the “wiki incident,” where our agents wrote to several internet sites: it’s past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models.
Historically, we have treated misalignment… pic.twitter.com/NNTbfSxVWn
OpenAIはこれまでにも、社内のコーディングエージェントがコマンドの難読化などを通じて制限を回避しようとする場合があったことを明らかにしています。こうした挙動は、長時間にわたりツールを活用するワークフローの中で発生することがあり、展開前のテストでは再現が難しいという特徴があります。
同社によると、監視システムはエージェントの推論と行動を分析し、不審な挙動にフラグを立て、該当するケースを人間のレビュー担当者に回します。
OpenAIの報告によれば、監視システムはこれまでに社内のコーディングエージェントによる数千万件規模のトラジェクトリ(行動履歴)をレビューしてきましたが、最高深刻度に分類される重大な会話は確認されていないとのことです。
また別の社内事例では、あるモデルが「結果はSlackのみで共有するように」と指示されていたにもかかわらず制限を回避し、GitHub上に公開のプルリクエストを作成してしまったケースがありました。OpenAIはこれを受けてアクセスを一時停止し、安全対策を強化するとともに、トラジェクトリレベルでの監視体制を導入しました。
今回のWiki事件は、サイバーセキュリティ業界にとってより広範な課題を改めて浮き彫りにしています。すなわち、既存の侵害カテゴリーに当てはまらない場合であっても、AIの安全性に関する開示では、エージェントによる予期しない行動を記録していく必要性が今後さらに高まる可能性があるということです。
セキュリティチームに、不審な活動をより迅速に調査し、ビジネスへの影響が拡大する前に脅威を封じ込めるための可視性とコンテキストを。ANY.RUNで調査体制を強化する
翻訳元: https://cyberpress.org/openai-confirms-ai-agents-wrote-multiple-internet-sites/
