Mythosの脆弱性ファイアホースが直面する「人間」というボトルネック

Anthropicの「Project Glasswing」に関する公開データを分析した最新のレポートにより、同社のフロンティアモデルであるClaudeが生成する脆弱性の発見件数と、最終的に実在し深刻で修正に値すると判明した件数との間に、大きな乖離があることが明らかになりました。

この違いは重要な意味を持ちます。脆弱性リサーチにおけるボトルネックは、今後ますます「発見」そのものではなく、新たに見つかった欠陥の「検証」とその修正に向けた「調整」にシフトしていく可能性を示しているからです。

開示段階まで進んだのはわずか10%

VulnCheckのセキュリティ研究者であるPatrick Garrity氏は最近、Anthropicの脆弱性開示台帳(Vulnerability Disclosure Ledger)を分析しました。これは、Project Glasswingに関連する発見事項が脆弱性開示・修正プロセスを経てどのように進展するかを追跡する公開記録です。この分析によると、AnthropicのClaude Mythosは、Project Glasswingが2026年4月に開始されて以降、数多くのソフトウェアプロジェクトにわたって合計26,153件の脆弱性を発見しています。

しかし、そのうち開示台帳に記載されたのはわずか2,736件、割合にして10%強にとどまります。これは、該当するソフトウェアの保守担当者に開示済み、あるいは開示手続き中であることを意味します。実際にパッチが適用済みなのはわずか202件、全体の0.8%未満にすぎません。また245件は取り下げられました。さらに191件の脆弱性は開示前段階にあり、保守担当者にまだ報告されていない状態でした。

Claude Mythosが生成した発見事項の残り、実に9割近くがまだ台帳に到達していません。Garrity氏によれば、これはAIが生成した発見事項のうちどれが開示・修正に値するかを判断する上で、人間による検証と調整がボトルネックになっていることを示唆しているといいます。

Garrity氏はDark Reading取材に対し、この結果は「協調的な脆弱性開示の仕組みをよく理解している私たちのような立場の人間にとっては驚きではない」と述べています。しかし、これは「フロンティアモデルの提供企業がこれまで示してきた説明とはかなり異なる」ものだといいます。フロンティアモデル各社は、AIが脆弱性の発見を劇的に加速させる能力を主に強調してきました。

「彼らはこれを試行錯誤しながら学んでいるようです」と同氏は語ります。

真陽性率と深刻度評価

Garrity氏の分析では、Mythosの脆弱性発見の精度や深刻度評価能力に関するAnthropicの主張にも疑問が投げかけられています。同氏は、脆弱性台帳上で修正済みとされている202件の発見事項が、取り下げ済みとされている245件の脆弱性よりも明らかに少ないことを指摘しました。同氏はこの数字について、Anthropicが主張する真陽性率91.4%をどのように定義・測定しているのか、より詳しい精査が必要だと記しています。

同様に、Garrity氏はAnthropicのAIが、影響を受けるソフトウェアの実際の保守担当者と比較して、脆弱性の深刻度評価において著しく厳しい傾向にあることも突き止めました。例えば、Claudeは台帳に到達した発見事項の91.5%を「重大(critical)」または「高(high)」の深刻度と評価しました。しかし、プロジェクトの保守担当者自身がこのカテゴリーに該当すると判断したのは、わずか61.3%にとどまっています。

「私の直感では、開発チームはClaudeに対して深刻度の判定方法について詳細な指示を与えていなかったか、与えていたとしても十分に練られておらず、結果として深刻度の判定が高めに出てしまったのではないかと思います」とGarrity氏は述べています。「深刻度算出に使われたCVSSの指標や、実際の弱点をより正確に理解するために使われたCWEを確認したいところです。これらはいずれも、脆弱性を開示する際に業界標準として求められるものです」

より大きな問題の兆候か?

AIが脆弱性の発見事項を正確に評価できるかどうかという疑問は、Glasswingに限った話ではありません。例えばContrast Securityの調査では、AI搭載のセキュリティスキャナーが生成する結果に大きなばらつきがあることが示されています。同一のコードベースに対して同じツールを複数回実行しても、結果は大きく異なり、複数のスキャナー間で一致した脆弱性はごくわずかな割合にとどまりました。

Contrast Securityの創業者であり、OWASP Top 10の考案者でもあるJeff Williams氏によると、同社が3種類の異なるAIスキャナーを同一の5万行規模のコードベースに対して3回ずつ実行したところ、実行のたびに異なる結果が生成されたといいます。例えば、Sonnetベースの簡易スキャンでは、3回の実行を通じて自らの発見事項のうち再現できたのはわずか17%だった一方、Opusでは25%が再現されたものの、最良の実行結果と最悪の実行結果の間で発見件数に約30%もの差が生じました。

Williams氏によれば、この差は脆弱性リサーチの経済構造に潜在的な変化が起きていることを浮き彫りにしているといいます。AIによって潜在的な欠陥の発見にかかるコストは比較的安く抑えられるようになった一方で、どの発見事項が実在し、対処可能で、修正する価値があるかを見極めるには、はるかに多くの時間とリソースが必要になる場合があるというのです。「同一のコードベースに対する3種類のAIスキャナーが一致したのは、発見事項のわずか5%でした」と同氏は述べます。「200万行規模のコードベースをスキャンするAPI費用は約315ドルで済みましたが、その結果をトリアージするコストは約128,000ドルに達しました」

VulnCheckの今回の分析は、Project Glasswingや業界全体で進む同様のAI活用型脆弱性発見の取り組みが、新たに特定される欠陥の膨大な量を生み出し始めている中で発表されました。この傾向は、それらの欠陥を検証・優先順位付け・パッチ適用しなければならないセキュリティチームや脆弱性修正チームにとって新たな課題を生み出しています。今週、974件の脆弱性に対処したMicrosoftの過去最多となる9月のPatch Tuesdayは、AIが脆弱性発見を加速させる中で各組織が直面する課題の規模を示す一例と言えます。

「世界はいまだに人間の速度でセキュリティに取り組んでいます」とWilliams氏は言います。

しかし、より多くの問題をより速く発見できたとしても、それだけでは意味がないと同氏は指摘します。Project Glasswingの発見事項のうち、実際に保守担当者へ届いた件数はごくわずかで、修正が確認された件数はさらに少ないという事実がそれを物語っているというのです。「しかもこれは、無制限の計算資源を持ち、Apple、Google、Microsoftをパートナーに持つAnthropicですらこの結果なのです。ファイアホース(消防用の大量放水ホース)を漏斗に向けて放水すれば、何が起きるかという話です」