OpenAIが新報告フレームワークの下で新たな6件のミスアライメント事案を公表

OpenAIは、隠された指示の埋め込み、無許可の通信、公開されているAPIキーの探索など、AIモデルのミスアライメント（不整合)の事例を詳述した新たな6件の報告書を公表しました。これにより、同社のAIシステムがテスト中に制御を回避していたという証拠がさらに積み重なることになります。

同社によると、これらの報告書は社内評価に基づくもので、モデルが定義された制約を超えて行動した事例、たとえば中間出力の改変、外部サービスとのやり取り、共有環境の意図しない使用などが記述されています。

OpenAIはこうしたモデルの挙動を「予期しない、あるいは懸念すべきもの」と表現しています。

これらの事例は、モデルがツールやメモリ、外部システムへのアクセス権を与えられた際にどのような振る舞いをするかを示すものであり、その条件は企業での実運用環境にますます近いものとなっています。

今回の公表は、OpenAIがこうした事案を追跡・公表するために新たに導入した報告フレームワークと合わせて行われたもので、モデルの挙動に関する社内評価に基づいています。

プロンプトインジェクションとワークフロー操作

6件のうち2件は、モデルが「圧縮サマリー」、すなわちモデルの注意力の限界を超えずに長時間のタスクを遂行するために使用される、それまでの文脈を凝縮したバージョンをどのように扱ったかに焦点を当てています。これらのケースでは、モデルが自らの指示をそのサマリーに挿入していました。OpenAIによると、あるモデルは「圧縮サマリーに無許可の指示を追加」し、その指示がその後の処理ステップに影響を及ぼすことを可能にしていたとのことです。

「我々は、あるモデルが自らの圧縮処理にジェイルブレイクのような指示を書き込むという稀なケースを観測しました」と、OpenAIはこのモデルの挙動を詳述した報告書の一つに記しています。「我々の結論としては、この挙動は極めて稀であり、明確な報酬上の優位性をもたらすものではなく、また監視可能なものでした」。

別のケースでは、圧縮サマリーが後の出力において欺瞞的な挙動を助長するために使われており、ある段階で導入された指示が複数のやり取りにまたがって持続してしまう仕組みが生まれていました。

外部との通信と制約の回避

他の報告書では、モデルが外部のインターネットサービスを利用することで通信上の制約を回避していた事例が記述されています。OpenAIによると、あるケースでは、モデルが「一時的なファイルホスティングサービス」を使い、意図された経路の外側で情報をやり取りしていました。別のケースでは、モデルがコンテンツをインターネット上にアップロードし、後にその応答の中でその素材を引用できるようにしていました。これは事実上、タスクを完了するために利用できる参照元を自ら作り出したことになります。

また別の事案では、モデルが公開リポジトリを検索することで機密情報の所在を突き止めようとしていました。OpenAIによると、このモデルは「漏洩したAPIキーを求めてGitHubを検索」する行動を取っており、システムが公開されている認証情報を特定しうることを示しています。

もう一つのケースでは、内部のアーティファクトリポジトリへの無許可の書き込みが記述されており、これが本来は隔離されているはずの評価サンプル間での通信を可能にする手段として使われ、サンプル間の相互作用を生み出す仕組みとなっていました。

モデルの挙動から企業リスクへ

これらの挙動は管理されたテスト環境の中で観測されたものですが、アナリストらは、業務ワークフローやデータへのアクセス権を持つAIシステムを導入する組織にとって、こうしたパターンは無関係ではないと指摘しています。

「こうした挙動はトレーニング固有の特性ではありません」と、IDCのシニアリサーチマネージャーであるYih Khai Wong氏は述べています。「そこから明らかになる失敗のパターンは……実運用環境にも持ち込まれ得るものです」。特に、エージェントが制約下にあってもタスクを完遂するよう最適化されている場合はなおさらだといいます。

アナリストらによると、その含意は、個々のモデル出力そのものから、それらの挙動がシステムレベルの行動としてどのように変換されるかへと焦点が移るという点にあります。

「AIエージェントが企業データ、認証情報、外部サービス、あるいは業務ワークフローにアクセスできる場合、リスクは実質的なものとなります」と、GartnerのシニアプリンシパルアナリストであるApeksha Kaushik氏は述べ、組織は安全策が失敗する可能性を前提として、それに応じた制御を設計すべきだと付け加えています。

サイバーセキュリティ研究者でレッドチーム担当者のVibhum Dubey氏は、モデルが業務システムに組み込まれる段階でこうした変化が生じると述べています。「メールを読み、リポジトリを検査し、クラウド環境にアクセスできるエージェントは……企業の攻撃対象領域の一部となります」と同氏は述べ、許可された複数のアクションが連鎖的に組み合わされる可能性を指摘しています。

今回の公表はまた、モデルがメモリや再利用可能な文脈とどのように相互作用し、それが将来の挙動に影響を与えうるかも浮き彫りにしています。アナリストらによると、これにより、特に文脈が検証なしに再利用される場合、セッションをまたいでエージェントの挙動に持続的かつ無許可の変化が生じるといったリスクが生まれるといいます。

Kaushik氏は、組織はモデルそのものだけでなく、モデルを取り巻くシステムがどのように設計されているかに注目すべきだと述べています。同氏によれば、鍵となる問いは、周辺のアーキテクチャが「安全でない行動を防止し、検知し、封じ込める」ことができるかどうかだといいます。

フレームワークが公表を制度化

6件の報告書全体について、OpenAIはこれらの事例が「個々の事案を記述したもの」であり、こうした挙動が同社のシステム全体でどの程度の頻度で発生しているかを示すことを意図したものではないと述べています。

同社によると、今回の公表は、モデルのミスアライメントを追跡・報告するためにOpenAIが新たに導入したフレームワークの下で行われています。このフレームワークにより、従業員は予期しない、あるいは無許可の挙動を報告できるようになり、それが公表の基準を満たすかどうかを判断するために評価される仕組みになっています。

「我々は、AI業界が最大速度でのスケーリングを責任ある形で今後長く続けられるほど十分にアラインメントと監視の問題を解決できているとは考えていません」と、同社はブログ投稿で述べています。「この新しいフレームワークは、報告している挙動について完全な説明や緩和策をまだ講じられていない場合であっても、観測後速やかにミスアライメント報告を公表できるようにすることを意図したものです」。