Anthropicの「Opus 5」、プロンプトインジェクション耐性が向上

このチャートが興味深い内容になっています。

IPIベンチマークにおいて、Opus 5はOpus 4.8から改善が見られ、攻撃者が15回の試行以内に成功する確率を5.5%から2.0%へ、1回の試行での成功確率を0.5%から0.2%へとそれぞれ引き下げました。また、Sonnet 5（k=15で5.9%）およびMythos 5（2.6%）も上回り、評価対象モデルの中で最も堅牢な結果となりました。Opus 5は、このベンチマークにおいてClaude以外のすべてのモデルも上回っています。Claude以外で最も堅牢だったのはMuse Sparkで、15回の試行以内で16.5%となり、Opus 5の実に8倍以上の確率でした。GPT 5.6の中で最も高性能なバリアントであるSolは、前身のGPT 5.5と同程度の結果（15回の試行以内で20.0%対20.8%）にとどまり、2.0%のClaude Opus 5と比べて10倍攻撃が成功しやすいという結果でした。GPT 5.6の他のバリアントはさらに堅牢性が低く、Terraで30.4%、Lunaで43.9%となっています。GPT 5.6 Solに対する1回の試行では3.1%の確率で成功しており、これは攻撃者がOpus 5に対して15回試行した末に達成した2.0%を上回る数値です。

プロンプトインジェクションを一般論として完全に防ぐことは不可能であることが分かっています。しかし、特定のケースにおいてこれを阻止する精度は着実に高まっています。