NCSCが指摘する「悪いメトリクスを使わないことが最良」 – SOCにおいて

セキュリティオペレーションセンター（SOC）の有効性を測定するために最も一般的に使用されるメトリクスの多くは、最良の場合でも不正確であり、最悪の場合、SecOpsチームに積極的な害をもたらすと、国家サイバーセキュリティセンター（NCSC）が警告しています。

NCSCのアーキテクチャCTO、Dave Chismonは、ブログ記事で、組織はセキュリティの専門家ではない個人に対して数値で簡単に表現できる測定基準に傾きやすいと述べています。

しかし、「処理されたチケット数」や「チケットを閉じるのにかかった時間」がメトリクスとして使用される場合、スタッフは調査するのではなく、それらを誤検知として迅速に分類および閉じるという逆説的なインセンティブを得る可能性があります。

同様に、「検出ルール数」はアナリストができるだけ多くのルールを作成するようにインセンティブを与える可能性があり、誤検知と無効なルールの数を増やします。

同様に、ログの価値よりもログ収集量に焦点を当てることは、検出の改善につながらない場合、自己矛盾していると、Chismonは述べています。

SecOpsについての詳細：NCSCがSOC使用の代替案を共有

NCSCによると、重要な唯一のSOCメトリクスは「適切な時間内に攻撃を検出（および対応）できるか？」です。つまり、検出までの時間/対応までの時間（TTD/TTR）です。

Chismonは、SOCのTTD/TTRを評価するためにレッド/パープルチーミングを使用することを推奨しました。

「TTD/TTRはSOCが機能していることを示す唯一の報告可能なメトリクスですが、SOCマネージャーはサービスの週ごとの健全性を監視するのに役立つ他の多くのメトリクスを追跡したいと思う可能性があります」と彼は続けました。

「これらのメトリクスはチケット数のようなものを含める可能性がありますが、重要なことに、これらのメトリクスは外部に報告されるべきではありません（またはおそらく内部、SOCアナリストに）間違った活動を促進しないようにするためです。」

脅威検出を向上させる方法

SOCのTTD/TTRを削減するために、アナリストは脅威環境と自分たちが保護しているものの両方を理解し、使用しているツールの専門家である必要があり、異常な動作を検出するための正しいデータを持ち、脅威を追跡する時間を持つ必要があります。

Chismonは、構築するためにいくつかのアプローチを推奨しました：

• 仮説主導の追跡、アナリストが脅威行為者とその手法の理解に基づいて起こりうる攻撃について仮説を立て、その後、ログの証拠を検索する
• 最大真陽性/最小誤検警告、SOCが検出ルールが適切であるかどうかを評価する際に「誤検警告率の厳しい閾値を維持する」
• 脅威行為者に関するドキュメンテーションの完全性や、読まれて実行された訓練報告書など、脅威に対するアナリストの認識を中心としたメトリクス
• トレーニングと認定資格を通じたツール内のアナリスト専門知識の追跡
• 疑わしい活動を特定してフラグを立てるために、より広い組織とのSOCの関与の追跡
• アナリストの職務満足度、「攻撃者について学び、技法を理解し、それをデータに適用し、組織全体の人々と協力している」場合は高くすべき
• ログカバレッジ：適切なログを報告している関連資産のパーセンテージを追跡することは、ブラインドスポットを減らすのに役立つ可能性があります

「間違ったメトリクスで、SOCは無効であり、仕事は悲しく、アナリストは自分たちを『チケット猿』と説明し、できるだけ早く『誤検警告』をクリックすることで測定され、実際の攻撃を見逃したことで恥をかかせられます」とChismonは結論付けました。

「SOCがこの罠に陥る可能性があると心配されている場合、信頼できるベンダーからのレッドチームまたはパープルチームは、どちらにしても証拠を提供します。」