Anthropicの新モデル「Claude Opus 5」は、間接的プロンプトインジェクション(IPI)攻撃の成功率を大幅に引き下げ、Gray SwanのIPIベンチマークでは15回の試行に対して成功率2%という結果を記録しました。
これはClaude Opus 4.8で観測された成功率5.5%からの改善を意味します。同社が新たに公開したシステムカードによると、Opus 5はこのカテゴリで評価されたモデルの中で最も高い堅牢性を示したとしています。
間接的プロンプトインジェクションに耐性を示すClaude Opus 5
間接的プロンプトインジェクションは、信頼できないコンテンツを処理しながらツールや企業データ、ブラウザ、ユーザーアカウントへのアクセス権を保持するAIエージェントにとって、重大なリスクとなります。
明示的な指示を必要とする直接的なジェイルブレイクとは異なり、間接的な攻撃では、エージェントが読み込む可能性のある電子メールや文書、Webページ、ツールのレスポンスといった外部素材の中に悪意ある指示が埋め込まれます。モデルがこの信頼できない指示を正規のユーザーリクエストと誤認してしまえば、攻撃は成功してしまいます。
Anthropicは、モデルが機密データへのアクセス権や操作権限を持つ場合、このリスクはさらに高まると警告しています。侵害されたエージェントは、社内の通信内容を外部に流出させたり、データを削除したり、システムを侵害したり、意図しない金融取引を実行させられたりする可能性があります。
単一の悪意あるペイロードを公開ページや共有文書に仕込むだけで攻撃が成立するため、攻撃者は被害者を一人ずつ狙うのではなく、複数のエージェントを同時に標的にできる点も懸念材料です。
Gray Swanベンチマークの結果
今回のIPIベンチマークは、Claudeモデルがほぼ満点近いスコアに達したことを受けて廃止された、Anthropicが従来報告していたAgent Red Teamingベンチマークの後継にあたるものです。
| モデル | 成功確率(1回試行) | 成功確率(15回試行) |
|---|---|---|
| Claude Opus 5 | 0.2% | 2.0% |
| Claude Opus 4.8 | 0.5% | 5.5% |
| Claude Sonnet 5 | 記載なし | 5.9% |
| Claude Mythos 5 | 記載なし | 2.6% |
| Muse Spark | 記載なし | 16.5% |
| GPT-5.6 Sol | 3.1% | 20.0% |
| GPT-5.5 | 記載なし | 20.8% |
| GPT-5.6 Terra | 記載なし | 30.4% |
| GPT-5.6 Luna | 記載なし | 43.9% |
この新たな評価手法は、Gray Swan、英国AI Security Institute、米国Center for AI Standards and Innovation、その他のモデル開発企業との共同開発によるもので、コーディングやツール利用、GUIベースの環境をカバーする28のシナリオが含まれています。
Cloudsecurity certification
研究者らは、複数のモデル間で高い転用性を持つことで知られる、重複を排除した1,130件の攻撃パターンを選定しました。テストでは、1回、10回、15回の試行のうち少なくとも1回攻撃を成功させられる確率を評価しました。
Claude Opus 5は、1回の試行後の成功確率が0.2%、15回の試行後は2.0%を記録しました。これに対しOpus 4.8はそれぞれ0.5%、5.5%でした。
さらに、Claude Sonnet 5は15回の試行後の成功率が5.9%、Claude Mythos 5は2.6%を記録しました。言及されたClaude以外のモデルの中で最も堅牢だったMuse Sparkは、15回の試行における成功確率が16.5%でした。
Opus 5はさらに、Gray Swanのレッドチーム向けツール「Shade」を用いたアダプティブ・プロンプトインジェクションテストにおいても、大幅な改善を示しました。
コーディング環境では、Opus 5の試行単位での攻撃成功率は、拡張思考(extended thinking)使用時で0.56%、非使用時で0.41%となり、Opus 4.8の7.03%および17.44%と比べて大きく改善しました。プロンプトインジェクション検知プローブを有効にすると、Opus 5はいずれの設定でも0.18%まで低下しました。
GUIによるコンピュータ操作のテストでは、Opus 5はOpus 4.8と比較して、拡張思考使用時の攻撃成功率を7.14%から0.54%へ、非使用時は6.21%から0.39%へと引き下げました。
Anthropicのブラウザ利用評価では、Opus 5の生の攻撃成功率は拡張思考使用時で3.70%でしたが、同社の「オートモード」の安全対策を有効にした場合、129のシナリオにおいて攻撃は一件も成功しませんでした。
これらの結果は意義のある耐性強化を示していますが、完全な免疫を意味するものではありません。Anthropicは、実際の攻撃者は絶えず戦略を適応させ続けるため、静的なベンチマークは耐性を過大評価しうると指摘しています。
同社の緩和策は、疑わしいツール出力を検知する入力側のプローブと、有害となりうるツール呼び出しをブロックする実行側の分類器を組み合わせたものです。
AIエージェントを利用する組織にとっての実践的な教訓は明確です。モデルの堅牢性に加えて、最小権限の原則、重要な操作に対する人間による確認、信頼できないコンテンツの分離、監査ログの記録、そして異常なデータアクセスの監視が不可欠だということです。
ベンチマークにおける成功確率2%というのは大きな改善ではありますが、大量のリクエストが飛び交う企業のワークフローにおいては、たとえ低確率であっても侵害の経路が存在する以上、多層的な対策が必要になります。
新たなフィッシングやマルウェアがビジネスを侵害する前に阻止しましょう。 世界15,000のSOCからのライブインテリジェンスを統合
Antivirus& Malware
翻訳元: https://gbhackers.com/claude-opus-5-most-resistant-to-indirect-prompt-injection-attacks/
