OpenAIは、AIエージェントにおけるプロンプトインジェクションの弱点を特定・悪用するよう訓練された自動安全性レッドチーミングモデル「GPT-Red」を発表しました。
Hacking& Cracking
プロンプトインジェクションとは、Webページ、メール、ローカルファイル、コードリポジトリ、ツールの出力などに隠された悪意ある指示によってAIシステムが本来のタスクを無視するよう操られる現象を指します。これにより、データ窃取や不正な操作、ポリシーの回避などが引き起こされる可能性があります。
OpenAIがAIモデル「GPT-Red」を発表
同社によれば、人間によるレッドチーミングは依然として不可欠であるものの、能力が高まり続けるAIモデルに対応できるだけの十分な攻撃パターンを生み出すことはできないといいます。
GPT-Redはこのスケーラビリティの問題を解決するために、敵対的なプロンプトを自律的に作成し、対象モデルの挙動を観察しながら、有効な失敗を引き出すまで試行を繰り返します。
OpenAIは自己対戦型の強化学習を用いてこのモデルを訓練しました。この手法では、GPT-Redが攻撃者役を担う一方、複数の防御側モデルは正当なユーザータスクを遂行しつつ攻撃に耐えることで報酬を得る仕組みになっています。
| GPT-Redの能力 | OpenAIが報告した結果 |
|---|---|
| 新規の間接プロンプトインジェクションテスト | テストシナリオの84%で攻撃に成功。人間のレッドチーマーでは13%だった |
| 製品版モデルの堅牢性 | GPT-5.6 Solは、OpenAIが用意した最も難易度の高い直接プロンプトインジェクションのベンチマークにおいて、4カ月前の最強の製品版モデルと比較して失敗数が6分の1に減少 |
| GPT-Redの攻撃に対する耐性 | GPT-5.6 SolはGPT-Redによる直接プロンプトインジェクションの試行のうち0.05%でしか失敗しなかった |
| 未公開データを用いたデータ流出テスト | GPT-Redは、GPT-5.5をベースラインとした場合と比べ、より多くのシナリオを解決しつつ、使用トークン数も少なかった |
| 直接プロンプトインジェクションの分類 | 「偽の思考の連鎖(Fake Chain-of-Thought)」攻撃は、GPT-5.1に対しては95%を超える成功率だったのに対し、GPT-5.6 Solに対しては10%未満にまで低下 |
OpenAIによれば、GPT-RedはAIエージェントが信頼できないデータを処理する、現実的な攻撃対象を標的にできるといいます。訓練環境において、このモデルはローカルファイル、メール本文、Webページのバナー、ツールの応答などのコンテンツを操作し、攻撃者が定めた目標へとエージェントを誘導しようと試みます。
提示された事例の一つでは、内部の診断データを外部サーバーにアップロードするようAIアシスタントに指示しようとする悪意あるファイル検索結果が示されています。GPT-5.1はこの注入された指示に従ってしまいましたが、GPT-5.6はこれに抵抗しました。
このモデルはまた、AI搭載の自動販売機エージェントを対象とした実世界に近い実験でもその有効性を示しました。
シミュレーション環境で攻撃をテストし、エージェントのツール呼び出しを監視した後、GPT-Redは本番システムを操作し、高額商品の価格を0.50ドルに引き下げたほか、同じ価格で100ドルを超える別の新規商品を注文し、さらに別の顧客の注文をキャンセルさせたと報告されています。OpenAIはこれらの脆弱性を開示済みであり、追加の安全対策を現在テストしていると述べています。
GPT-Redは汎用モデルとして公開される予定はありません。OpenAIによれば、意図的に訓練された攻撃能力が攻撃者に悪用されるのを防ぐため、このレッドチーミングシステムは製品版とは切り離して管理されているといいます。その代わりに同社は、GPT-Redが生成した攻撃をGPT-5.6 Solなどのモデルに対する敵対的な訓練データとして活用しています。
今回の発表は、エージェント型AIが直面しつつあるセキュリティ上の課題の高まりを浮き彫りにしています。ブラウザ、クラウドサービス、アプリケーション、ファイル、APIにアクセスできるシステムは、指示の優先順位を保ちながら機密データを保護しつつ、信頼できないコンテンツを処理しなければなりません。OpenAIは、自動化されたレッドチーミングと人間および第三者によるテスト、多層的な安全対策、リアルタイムの監視を今後も組み合わせていくとしています。
Securityaudit services
脅威検知と迅速な調査を加速し、SOCを強化しましょう。 -> ANY.RUNを今すぐSOCに統合。