OpenAIは、自社のAIシステムがミスを隠蔽したり漏洩したAPIキーにアクセスしたり、データを捏造したり、無許可でファイルをアップロードしたり、意図しない経路で通信したりする事例を発見したことを受け、モデルの不整合(misalignment)を報告するための新たな枠組みを導入しました。
同社はモデルの訓練・評価中に観測された挙動を詳細にまとめた6件の初回レポートを公開しました。ますます高度化するシステムが展開される中、AI開発企業にはより一貫性があり迅速な情報開示基準が必要だと同社は主張しています。
OpenAI、AIモデルによるミスの隠蔽を明らかに
この新たな枠組みは、従来の場当たり的な開示手法に代わるものです。従来は調査結果を大規模なレポートにまとめたり、モデルのシステムカードと合わせて公開したりすることが多くありました。
OpenAIは今後、不整合がどのように発生するかを示す証拠、安全対策の弱点を浮き彫りにする事例、既存の安全性に関する主張に疑問を投げかける事例、あるいはモデルが監視を回避する新たな手口を明らかにする公開レポートを優先的に扱うとしています。
同社は、個々のインシデントが繰り返し発生するパターンや現実世界での実害を示すものとは限らないとしつつも、研究者や政策立案者、他のAI開発企業にとって貴重な知見をもたらし得ると強調しています。
あるレポートでは、未公開の研究用モデルが「compaction summary（圧縮要約)」に無関係な指示を挿入していた事例が取り上げられています。この要約は、モデルが新しいコンテキストウィンドウで作業を再開する際にタスクの文脈を維持するために生成されるものです。
OpenAIは、モデル自身が生成したプロンプトインジェクションを含む要約を27件確認しました。その中には、通常の制約を無視するようモデルに指示する内容も含まれていました。
別の事例では、GPT-5.6 Solの訓練過程において、モデルのインスタンスが、ミスや不整合な挙動をユーザーに隠すよう将来のインスタンスに指示する内容を含んでいたことが判明しました。具体的には、欠落している過去のデータをその旨を明かさずに捏造するよう指示したり、情報源のバージョン間の矛盾を隠すよう指示したりする例が挙げられています。
OpenAIはさらに、あるインシデントについても明らかにしました。それは、カリフォルニア州のある郡の歳入データに関する通常の質問に答えようとする過程で、モデルが公開コードリポジトリを検索したというものです。
この過程で、システムは漏洩していたAPIキーを発見し、無許可で使用しました。要求された数値の取得に失敗した後、モデルはデータを捏造し、それをあたかも要求元のソースから得たものであるかのように偽って提示しました。
データガバナンスに関するコンサルティング
この発見は、公開リポジトリに誤って認証情報を露出させてしまった組織にとってセキュリティ上の懸念を浮き彫りにするものです。能力の高いAIエージェントは、タスクを遂行する過程でアクセス可能な機密情報を見つけ出し、悪用してしまう可能性があります。
このほか、無許可のファイルアップロードやエージェント間通信に関する事例もありました。ある未公開のモデルは、Pythonを用いて500万平方メートルを超える湖のリストを正確に算出したものの、ブラウザからアクセス可能な引用元を用意するために、その結果ファイルをインターネット上にアップロードしていました。これはユーザーの同意なく行われたもので、不必要な外部露出を生み出しました。
また、別の評価では、協働するエージェントがローカルのリソースのみを使用するよう指示されていたにもかかわらず、公開のファイルホスティングサービスを使ってローカルのタスクファイルを共有し、成果物を公開URL経由でアクセス可能な状態にしていました。
さらにOpenAIは、モデルが欠落した入力ファイルを探そうとする過程で、社内のソフトウェアリポジトリを掲示板のように使い、別々の訓練サンプル間でやり取りしていたことも報告しています。
同社は、モデルがネットワーク制限を回避しようとしたとみられる、以前発生したインシデントについても検証しました。このケースでは、モデルがテストファイルをリポジトリにアップロードしていました。
これらの事例は、従来のアクセス手段が失敗した場合、たとえそれがタスクの境界を逸脱するものであっても、モデルが目的を達成するための別の経路を見つけ出し得ることを示しています。
新しい仕組みの下では、従業員は不整合が疑われる事例をさらなる調査のために報告できます。案件はその後、開示準備が整っているもの、軽微な追加調査が必要なもの、第三者を交えた大規模調査や深刻なセキュリティ上の懸念を伴い大掛かりな調査が必要なもの、のいずれかに分類されます。
OpenAIは、これらのレポートには観測された挙動、影響、調査の範囲、未解決の課題、そして予定されている対策が記載されるとしています。
SOCのアラート調査時間を1件あたり21分削減。即座のIOCコンテキストでSOCの対応力を強化: TI LookupをSOCに統合する
翻訳元: https://gbhackers.com/openai-reveals-ai-models-concealing-mistakes/
