脆弱性スコアって何の役に立つの？ほとんど意味がない

セキュリティ企業Codificの共同創業者兼CEOであるアラム・ホヴェスピアン氏は、セキュリティ脆弱性を特定し脅威リスクを評価するための評価システムは見直しが必要だと述べています。

ホヴェスピアン氏は、CVE（共通脆弱性識別子）脆弱性識別番号システムを調査した結果、CVEの約3分の1は意味がないと主張しています。

彼の分析は、USENIXセキュリティシンポジウムの一環として8月に発表された学術研究を引用しています。論文「Confusing Value with Enumeration: Studying the Use of CVEs in Academia」（Moritz Schloegelら）は、過去5年間に研究論文で引用された1,803件のCVEのうち34％が、公開で確認されていないか、脆弱とされたソフトウェアプロジェクトの管理者によって異議が唱えられていると報告しています。著者らは、CVEを主張される脆弱性の実世界での影響の代替指標として扱うべきではないと主張しています。

CVEは、セキュリティ研究者がCVE番号付与機関（CNA）に脆弱性を報告することで始まります。CNAは、当初はMITREが担当していましたが、その後他の組織（例：Microsoft）にもCNAの地位を拡大しました。CNAは提出内容を審査・検証し、CVE番号を割り当て、最終的に詳細を公開することになっています。

CNAには企業、オープンソースのメンテナー、財団、サービスプロバイダー、脆弱性研究者、国家コンピュータセキュリティインシデント対応チーム（CSIRT）などが含まれます。CNAはまた、CNA-LR（最終手段のCVE番号付与機関）にCVEの割り当てを委任することもできます。例えばRed Hatなどがこれに該当し、CNAの代理として自らの範囲外のCVEを割り当てたり詳細を公開したりできます。

ホヴェスピアン氏は、CVE割り当てシステムには動機の不一致があると述べています。

「脆弱性研究者は、自身の評判を高めるためにできるだけ多くのCVEを公開しようとする傾向があります」とホヴェスピアン氏は自身の投稿で書いています。「一方で、製品のCNAは自社ソフトウェアの欠陥をさらすCVEを作成する動機がほとんどありません。その一方で、CNA Last Resortは徹底的な検証のための技術的背景が不足していることが多く、正確さよりも迅速な公開を優先しがちです。」

その結果、開発者はこれらの報告に対応しなければならず、異議を唱えるのが難しく、正確性や妥当性に欠ける場合もあります。

ホヴェスピアン氏はまた、脆弱性の重大度をランク付けするためのCVSS（共通脆弱性評価システム）についても調査しました。彼はこれらのスコアが一貫性に欠けていると主張し、「研究によれば、CVEの40％以上が、同じ人物によってわずか9か月後に再評価された際に異なるスコアを受けている」と指摘しています。

また、CVSSスコアで計算を行うことは数学的に正当ではないとも主張しています。CVSSの序数的な数字は脆弱性のリスト内での位置を示すだけであり、本来はセキュリティツールの計算やアルゴリズムで定量的な値として扱うべきではありません。

CVEシステムの問題の例として、ドイツの博士課程学生フロリアン・ハントケ氏が、誰も使っていない廃止されたシステムに対してCVEを作成した事例を挙げています。この脆弱性は当初9.1のCVSSスコアを受けましたが、その後引き下げられました。ハントケ氏は自身の経験をブログ記事で記録し、「CVEの認識と価値を再調整する必要がある」と結論付けています。

ホヴェスピアン氏はまた、CVSSスコア10点中9.8を受けた後に3.3に引き下げられたcurlの脆弱性報告の問題も挙げています。

人気のコマンドラインツールcurlの作成者兼メンテナーであるダニエル・ステンバーグ氏は、The Registerへのメールで、ホヴェスピアン氏の批判は実際の問題を指摘していると述べました。特に、単一のスコアではすべての利用シナリオを正確に反映できない多様な環境で使われる製品やプロジェクトにとっては大きな問題だといいます。

「CVSSは基本スコアを示すものであり、各自が自分の環境やリスク判断を加えるべきですが、実際にはそのように数字が使われていません」とステンバーグ氏は説明しました。

「これが、curlプロジェクトで私たちがCVSSスコアを一切提供しない理由の一つです。世界中で（悪用も含めて）使われる単一のスコアを信頼性を持って設定できるとは思いません。私はしばしば、LinuxカーネルのCNA責任者であるGreg [Kroah-Hartman]と一緒にこの点を主張しています。彼もまた、自分たちが作成するCVEにはCVSSを設定しません。curlよりもはるかに多くの件数を扱っているにもかかわらずです。」

実際、ステンバーグ氏は今年初めにこのテーマについてブログ記事を書いています。タイトルは「CVSSは私たちにとって死んだも同然」です。

ホヴェスピアン氏は、脆弱性報告を評価する人々の手続き的な改善を主張する一方で、CVEやCVSSスコアにも一定の価値があることは認めています。

「CVEやCVSSが無価値というわけではありません」と彼はThe Registerに提供した声明で述べています。「これらは有用なインプットです。しかし、AppSec戦略全体の基盤にすべきではありません。リスクの共通理解から始め、脅威モデリングや文脈に即したトリアージに基づくべきです。脆弱性ダッシュボードも役立ちますが、科学的な視点で解釈されて初めて意味を持ちます。」®