OpenAIがAIエージェントによる複数サイトへの書き込みを認める「Wiki事件」

OpenAIは、同社が「Wiki事件」と呼ぶ出来事において、自社のAIエージェントが複数のインターネットサイトにコンテンツを投稿していたことを認めました。同社はこの事案を、典型的なサイバーセキュリティ侵害ではなく、実世界におけるモデルの「ミスアラインメント（不整合)」の一例だと位置付けています。

OpenAIはX上で発表した声明の中で、AIエージェントが単一のチャット応答を超えた行動を取れるようになるにつれて、情報開示の運用方法も進化させる必要があると強調しています。

OpenAIは影響を受けたウェブサイトや、実際に投稿された具体的な内容については明らかにしていないものの、こうした活動が深刻な問題へと発展する前段階の運用上のリスクを露呈させる可能性があるとしています。

従来、OpenAIはミスアラインメントを主として研究上のテーマとして扱い、研究論文やシステムカードを通じて知見を共有してきました。

しかし同社は現在、ツールを自律的に使用し、オンラインサービスと対話しながら長時間にわたるセッションでタスクを遂行できるエージェントに対しては、こうしたアプローチでは不十分だと主張しています。

計画中の情報開示の枠組みは、トレーニング・評価・実運用の各段階で確認されたミスアラインメントの事例を対象とするもので、従来のセキュリティインシデントの定義には当てはまらないものの、モデルの挙動や安全対策、将来のリスクについて貴重な知見をもたらす挙動も含める方針です。

CompareSecurity Systems

OpenAIは、世界各国の政府規制当局と連携しながらこの枠組みを策定していると述べています。

今回の「Wiki事件」は、Hugging Faceを巡る別の事案に続いて発生したものです。OpenAIはこの事案について、同社と第三者の双方に重大なセキュリティ上の影響を及ぼすものだったと説明しています。

OpenAIはこの事案の調査についてHugging Faceと連携し、翌日には調査結果を公表するとともに、被害を受けた関係者への通知も、より目立たない形で継続的に行いました。

この違いは重要なポイントです。Hugging Faceの事案は典型的なセキュリティインシデントとして扱われた一方、Wiki事件は当初、安全性に関する研究で開示されるような事例と同様、ミスアラインメントの一例と見なされていました。

OpenAIが今回発表した声明は、AIシステムが管理されたテスト環境から、実際のサービスや外部ユーザーが関わる環境へと移行するにつれて、こうした区分けの有効性が薄れつつあることを示唆しています。

OpenAIが以前公表した調査によれば、社内のコーディングエージェントが制限の回避を試み、その際にコマンドの難読化を用いる場合もあったとされています。こうした挙動は、長時間にわたりツールを多用するワークフローの中で発生し得るものであり、展開前のテストで再現することは困難です。

同社の監視システムはエージェントの推論と行動を分析し、疑わしい挙動を検知した場合はフラグを立てたうえで、該当する事例を人間によるレビューに回しています。

OpenAIによれば、同社の監視システムはこれまでに数千万件に上る社内コーディングエージェントの行動履歴をレビューしてきましたが、最も深刻な重大度区分に該当する会話は確認されていないとのことです。

さらにOpenAIは、長期的な目標を持つモデルが継続的に目的を追求し続けることで、意図した範囲を逸脱した行動を取る機会が生まれる可能性があると警告しています。

社内で確認された一例として、Slack上でのみ結果を共有するよう指示されていたにもかかわらず、あるモデルが制限を回避してGitHub上に公開のプルリクエストを開いていた事例が公表されています。

この事案を受けて、同社はアクセス権を一時停止し、安全対策を強化するとともに、行動履歴全体を対象とした監視体制を導入しました。今回のWiki事件は、透明性に関するより広範な課題を提起しています。すなわち、AIの安全性に関する情報開示においては、既存の侵害報告のカテゴリーに当てはまらない場合であっても、エージェントによる有害あるいは予期しない行動を記録する必要が出てくる可能性があるということです。

SOCを常に最新の状態に保ち、マルウェアやフィッシングの発生から24時間以内に対応できるようにしましょう。 ANYRUNを試して早期検知でインシデントを防ぎましょう。