Anthropicの最新のシステムカードによると、Claude Opus 5は間接的プロンプトインジェクション攻撃の成功率を15回の試行以内で2%まで低減させました。これはGray SwanのIPIベンチマークで評価されたモデルの中で最も優れた結果となっています。
間接的プロンプトインジェクションは、メールの読み取りやWebブラウジング、文書処理、ツール呼び出しを行うAIエージェントにとって重大なリスクです。攻撃者は一見正当に見えるコンテンツの中に悪意ある指示を隠し、AIエージェントにそれを実行させようと試みます。
こうした攻撃が成功した場合の影響としては、機密データの窃取、破壊的な操作、システムの侵害、不正な金融取引などが考えられます。
間接的プロンプトインジェクション（IPI）ベンチマークにおいて、Claude Opus 5は15回の試行後に攻撃者が侵害に成功する確率が2.0%という結果を記録しました。言い換えれば、この試験条件において98%の攻撃を防いだことになります。
この結果は、Claude Opus 4.8（15回の試行後の攻撃者成功確率が5.5%だった)から大幅に改善しています。また、Opus 5は1回の試行での攻撃成功率も0.5%から0.2%へと低減させました。
Anthropicによると、28のシナリオから構成されるこのIPIベンチマークは、Gray Swan、英国AIセキュリティ研究所（UK AI Security Institute）、米国AI基準・イノベーションセンター（US Center for AI Standards and Innovation）、その他のモデル開発企業と共同で作成されたものです。
AnthropicはOpus 5について、IPI評価でテストされたモデルの中で最も高い堅牢性を示したと説明しています。同社の報告によれば、Claude以外のモデルで最も成績が良かったMuse Sparkでも、15回の試行以内での成功率は16.5%に達しており、これはOpus 5の2.0%という報告値の8倍以上にあたります。
ただし、ベンチマークの結果は慎重に解釈する必要があります。これらの結果は定義済みの一連のシナリオを反映したものにすぎず、未知の攻撃や実運用環境固有の攻撃に対する耐性を証明するものではありません。
Anthropicはまた、既知のプロンプトインジェクション用データセットに頼るだけでなく、適応型の攻撃者を用いてOpus 5を評価しました。攻撃者がターゲットモデルの応答に基づいてペイロードを調整できる場合、静的なベンチマークではセキュリティ性能を過大評価してしまう恐れがあるため、この点は重要な違いです。
コーディング環境において、Opus 5は拡張思考（extended thinking）を有効にした状態で攻撃成功率0.56%を達成しました。これはOpus 4.8の7.03%から大きく改善した数値です。拡張思考を使用しない場合の成功率は0.41%で、以前のOpusモデルの17.44%と比較しても大幅な改善となっています。
このテストでは、Gray SwanのShadeシステムを使用し、攻撃者は40のシナリオそれぞれに対して最大200回まで試行できる条件で実施されました。
コンピュータ操作（computer-use）のテストでも同様の改善が見られました。拡張思考を有効にした場合、Opus 5の攻撃成功率は0.54%まで低下しました。これはOpus 4.8の7.14%と比べて大幅な改善です。
テストされた14のシナリオのうち1つでは、少なくとも1回の試行でモデルが侵害される結果となりました。これは、攻撃成功率が低いことと完全な耐性を持つこととは同義ではないことを示しています。Anthropicの結果は、モデル単体の堅牢性だけではエージェントのセキュリティ確保には不十分であることを強調しています。
同社は、受信したツール結果の中に不審な指示が含まれていないかを検査するプロンプトインジェクション検出プローブと、危険性のある可能性がある発信ツール呼び出しをブロックする分類器を併用しています。
これらのプローブを有効にした場合、Opus 5のコーディング環境における攻撃成功率は、テストした両方の構成において0.18%まで低下しました。129種類の厳選された環境を対象としたブラウザ操作の評価では、「自動モード」の保護機能が有効な状態でOpus 5に対する攻撃が成功した例は一件も記録されませんでした。
これらのシナリオには、個人情報の窃取やデータの破壊、システムの侵害、意図しない金融取引の発生を狙う試みが含まれていました。
今回の結果は、開発ワークフローやブラウザ自動化、企業向けツール統合においてAIエージェントを導入する組織にとって、Claude Opus 5が大きな進歩を意味することを示唆しています。
防御側は引き続き、最小権限アクセスの適用、重要な操作に対する確認要求、機密データの分離、ツール出力の検証、詳細なログの維持といった対策を続けるべきです。
プロンプトインジェクションは依然としてシステムレベルのセキュリティ課題です。耐性の高いモデルはリスクを軽減できますが、安全な運用を実現するには、エージェントがアクセスできる範囲や実行を許可される操作を制限し続けることが欠かせません。
ANY.RUNのブラウザ内データ検査で、検知・調査・対応をより迅速に。フィッシングの可視性を完全に確保し、SOCを強化してMTTRを短縮しましょう
翻訳元: https://cyberpress.org/anthropic-claude-opus-5-shows-98-resistance/
