タグ: ベンチマーク評価

helpnetsecurity.com

AI脆弱性パッチ、評価方法に落とし穴

ノースウェスタン大学の研究者らが、実際のセキュリティバグ112件を対象にAIコーディングエージェントを検証しました。その結果、クラッシュを止めるパッチであっても、プロジェクトのメンテナーが修正用に書いたテストには不合格となるケースが多いことが分かりました。Claude Opus 4.7では、クラッシュを解消したパッチ

securityweek.com

Mythosは脆弱性発見で強力であることが証明されたが、他の分野ではそれほど説得力がない

Mythosはソフトウェア脆弱性の検出において主張通り強力であるように見えるが、他の分野での機能はより複雑である。 Anthropicの Mythos AIモデルは4月初旬の発表以来話題になっており、主に他のAIモデルよりも大幅に多くの脆弱性を発見する能力があることで知られています。自律型オフェンシブセキュリティ企業