OpenAIのコンパクション機能に欠陥、AIの推論過程が研究者に露呈

研究者らが、OpenAIのアプリケーションプログラミングインターフェース（API）に欠陥を発見しました。この欠陥を突くと、同社のフロンティアモデルから生の推論トレース（reasoning traces）を抽出でき、OpenAIが通常はAPIユーザーに公開していない情報が露出します。

AIの脆弱性発見を手がけるXint社は、「コンパクション・スマグリング（compaction smuggling）」と名付けたこの手法を、10月26日公開の研究で明らかにしました。Xintによると、OpenAIは問題を認めて10月23日に修正を展開し、6000ドルのバグ報奨金を支払いました。

欠陥があったのは、OpenAIのコンテキスト・コンパクション機能です。この機能は、モデルを使って長い会話を圧縮し、ユーザーが読めない暗号化アイテムにします。

Xintは、あるモデルの推論をコンパクションの中に隠し、別のモデルにそれを返させられることを突き止めました。

コンパクションの迂回で隠された推論が露出

OpenAIは、推論モデルの回答の裏にある生の思考の連鎖（チェーン・オブ・ソート）ではなく、任意で利用できる要約をAPIユーザーに提供しています。Xintによると、この措置は蒸留（ディスティレーション）を防ぐためでもあります。放棄したアプローチや修正の過程を含む生の推論は、最終的な回答よりはるかに豊富な学習データになるためです。

OpenAIは8月、Stolen Thoughtsの論文を受けて対策を追加しました。この論文は、フロンティアモデルの暗号化された推論を、同じ会社のより性能の低いモデルに入力できることを示したもので、攻撃はAnthropic、OpenAI、Googleに影響しました。

Xintによると、これらの対策は推論が他のモデルへ再投入されるのを防ぎましたが、推論を生成した同じモデル上で動作するコンパクションは対象外でした。

Xintは、GPT-5.6 Solで推論を生成してコンパクションし、旧世代のGPT-4.1とGPT-4oに入力内容を一語一句そのまま繰り返すよう求めました。これにより推論を復元できたといいます。検証したすべての推論強度（reasoning-effort）設定で攻撃は成功したとしています。

関連記事：OpenCodeの情報漏えい、OpenAI・Anthropic・Googleに影響の可能性

コンパクションと蒸留をめぐる懸念は残る

Xintがこの欠陥を発見したのは8月で、OpenAIによる修正の内容は公表されていません。Xintの投稿にOpenAIのコメントは含まれていません。InfosecurityはOpenAIにコメントを求めています。

コンパクションをめぐっては、OpenAIに別の懸念も浮上しています。同社は9月の報告書で、未公開の社内モデルの訓練中に、モデルがまれに自らのコンパクション要約へ無許可の指示を書き込んだと説明しました。その中には、開発者メッセージを無視するようモデルに指示するものもありました。

Xintは、この手法によってOpenAIのフロンティアモデルを大規模に蒸留できる可能性があると主張しています。ただし、抽出した推論でモデルを訓練したとは報告していません。リスクは現実のものだとして、Anthropicが9月に公表した、中国を拠点とするラボによるものとした7件の蒸留キャンペーンの報告と、OpenAIが9月30日に明らかにした、モデルから隠された推論を引き出そうとする試みを阻止したとの発表を挙げています。