OpenAIは、プロンプトインジェクションの脆弱性を大規模に発見・悪用するために構築された社内向けの自動レッドチーミングモデル「GPT-Red」を発表しました。得られた知見は、そのまま本番モデルの堅牢化に活用されます。
同社は、GPT-RedをGPT-5.6のトレーニングパイプラインに直接組み込んだことを明らかにしており、その結果、プロンプトインジェクション攻撃に対して過去最も堅牢なモデルが完成したとしています。
AIシステムがブラウザ、連携アプリ、ローカルファイル、サードパーティ製ツールとやり取りする機会が増えるにつれ、攻撃者が悪意ある命令を埋め込める攻撃対象領域も広がっています。
メールやWebページ、コードリポジトリに巧妙に仕込まれたコマンドは、モデルを騙して機密データを外部に流出させたり、許可されていない操作を実行させたりする可能性があります。
これまで、こうした欠陥は人手によるレッドチーミングで発見されてきましたが、OpenAIはこの手法にはスケーラビリティがないと指摘しています。作業には多大な時間がかかるうえ、トレーニングレベルで堅牢性を高めるために必要な量の敵対的データを生成できないためです。
既存のベンチマークも新しいモデルによって飽和状態となっており、評価に空白が生じています。GPT-Redは、現実的な脅威シナリオにおいて多様な「防御側」LLM群と対戦させる自己対戦型強化学習によって訓練されました。
GPT-Redはプロンプトインジェクションに成功すると報酬を得る一方、防御側はそれを阻止すると報酬を得る仕組みです。この敵対的なループにより、GPT-Redはますます高度な攻撃戦略を身につけ、防御側も次第に耐性を強めていきました。
OpenAIは、同社最大規模のポストトレーニング実行に匹敵する計算量を投じてこのモデルを訓練しており、そのうちかなりの部分を安全性のためだけに割り当てています。
重要な点として、GPT-Red自体が一般公開されることは一切ありません。その攻撃能力が悪意ある攻撃者の手に渡らないよう、あくまで社内限定の運用にとどめています。
GPT-Redの有効性は、間接的プロンプトインジェクションのアリーナ（Dziemianら、2025年の研究に基づく）でベンチマークされ、GPT-5.1に対して84%という攻撃成功率を記録しました。これは、同一の新規シナリオに取り組んだ人間のレッドチーマーによる成功率わずか13%と比べ、大幅に高い数値です。
AI搭載の自動販売機エージェント（Andon Labsの「Vendy」。Anthropicの「Project Vend」に類似）に対しては、GPT-Redは3つの標的目標すべてを達成しました。高額商品の価格を0.50ドルまで引き下げること、割引価格で高額な注文を行うこと、そして他の顧客の取引をキャンセルすることです。OpenAIはこれらの発見事項をすでに開示しており、対策の検証を進めています。
また、GPT-Redは10種類のデータ流出シナリオにおいて、Codex CLIエージェントを標的とした対戦でも、プロンプトを与えられたGPT-5.5のベースラインを上回る成果を示し、より高いトークン効率でより多くのケースを攻略しました。GPT-Redによる攻撃結果をトレーニングに再投入したところ、明確な改善が見られました。
GPT-5.6 Solは、OpenAIが用意する最も難易度の高い直接的プロンプトインジェクションのベンチマークにおいて、4か月前の前モデルと比較して失敗率が6分の1にまで低下しており、GPT-Redによる直接的インジェクション試行に対する失敗率はわずか0.05%にとどまっています。
注目すべき発見の一つに、「偽の思考連鎖(Fake Chain-of-Thought)」と呼ばれる攻撃クラスがあります。GPT-5.1に対しては95%以上の成功率を記録していましたが、GPT-5.6 Solに対しては10%未満にまで抑え込まれています。
開発者向けツールやブラウジング関連のコンテキストを標的とした間接的プロンプトインジェクションのベンチマークの多くはすでに飽和状態に達しているとされ、GPT-5.6は97%を超える精度を達成しています。
OpenAIによれば、この堅牢性の向上はユーザビリティを犠牲にして得られたものではないとしています。モデルが単に要求を拒否する頻度を増やすことで「安全」に見せかけるという、よくあるトレードオフには陥っていないということです。
最先端の能力ベンチマークや過剰拒否テスト全体を通じても性能の劣化は確認されておらず、この成果が単なる過剰な慎重さではなく、悪意ある命令に対する真の耐性から得られたものであることを示唆しています。
OpenAIは、GPT-Redを安全性の「フライホイール」の起点として位置づけています。現行モデルが後継モデルの堅牢性を積極的に強化していくという構図です。
同社は今後もGPT-Redの計算リソースの拡充と自己対戦手法の改良を続ける方針で、この自動化されたアプローチを、人手によるレッドチーミング、第三者による監査、リアルタイム監視と組み合わせて重層的に運用していく計画です。
セキュリティ研究者にとって、GPT-RedはAI主導の敵対的テストが標準的な防御層になりつつあることを示す兆候であり、業界全体でプロンプトインジェクション対策のベンチマーク手法を再構築する可能性を秘めています。
より強固なプロアクティブ防御で、重大インシデントと金銭的損失を未然に防ぎましょう。15,000のSOCから得られるライブ脅威フィードを統合する
翻訳元: https://cyberpress.org/openai-gpt-red-uses-automated-attacks/
