AI SOCエージェントを評価する方法:Gartnerが推奨する7つの質問

Image

エージェント型SOC、またはGartnerが呼ぶAI SOCエージェントの市場は急速に成長しています。過去18ヶ月間に数十のスタートアップがこの分野に参入し、それぞれセキュリティ運用チームがアラート分類、調査、対応にどのように対応するかを変革することを約束しています。

通常のセールスピッチは大体同じようなものです:AIエージェントをデプロイし、アラート積み残しを削減し、アナリストを価値の高い業務に集中させます。

その約束の一部は本当です。しかし、Gartnerのこのカテゴリに関する最新の調査では、これらのツールを評価しているほとんどの組織は間違った質問をしているか、十分な質問をしていないことが示唆されています。

最近のGartnerレポート「これらの重要な質問でAI SOCエージェントの約束を検証する」では、アナリストCraig LawsonとAndrew Daviesがサイバーセキュリティリーダー向けの構造化された評価フレームワークを提示しています。

彼らの中心的な調査結果は厳しいものです:大規模なSOCの70%が2028年までにTier 1およびTier 2運用のAIエージェントをパイロット運用する予定ですが、構造化された評価なしに測定可能な改善を達成するのはわずか15%です。完全なレポートはこちらからダウンロードできます。

採用と成果のこのギャップは非常に大きく、信頼できるものです。これは、ほとんどのセキュリティチームが直面する問題がSOCにおいてAIを採用するかどうかではなく、本物の運用改善をマーケティングノイズから区別する方法についてであることを示唆しています。

ここではGartnerが推奨する主要な評価分野と、各分野が成功にとって重要である理由を示します。

Image

1. 実際に今日あなたのチームが行っている仕事を削減しますか?

これは明らかに聞こえますが、Gartnerは慎重に構成しています。最初の質問は「このツールは何ができるのか?」ではなく、「脅威検出、調査、対応の改善における限定的な価値の繰り返しの時間を消費しているSOC機能は何か?」です。

ツールはデモ環境で印象的な機能を実証しているかもしれませんが、チームが他の手段ですでに解決しているワークフローに対応しています。評価はベンダーの機能リストではなく、運用上のボトルネックから始まるべきです。

Gartnerはまた、どの具体的なタスクが最適化に適しているか、およびソリューションが特定のSOCロール向けに目的を持って構築されているかを質問することをお勧めします。アラート分類と調査を中心に設計されたプラットフォームは、if/thenワークフロー規則を作成するために構築されたものとは異なるアプローチを取ります。

そのスコープを事前に理解することで、後で誤った期待を防ぐことができます。

2. 「アラート処理数」以外の成果をどのように測定しますか?

ボリュームメトリクスは誤解を招く可能性があります。月に10,000件のアラートを処理することは、調査の品質が低下したり、真の陽性がすり抜けたりする場合はほとんど意味がありません。

Gartnerは、評価がTDIRメトリクスと成果の改善に重点を置くべきであることを強調しています。検出までの平均時間、対応までの平均時間、偽陽性の削減。しかし、レポートはさらに進み、定性的な成果も重要であることを指摘しています。

このツールはアナリストの満足度を向上させていますか?それはより速い実行ではなく、より良い実行につながっていますか?

レポートはまた、障害から実際にリスクが低減される場所であるため、平均時間から障害(MTTC)を全体的な最終目標とすべきであることを強調しています。分類速度で停止し、下流の調査品質と障害時間に対応しないベンダー会話は、最も重要な部分を除外しています。

お客様のものと同様の環境からの実際の世界ベンチマークを求めてください。また、これらのベンチマークが概念実証またはその定期本番使用中に収集されたかどうかを尋ねてください。これらはしばしば非常に異なる数字だからです。

3. ベンダーは今後2年間存続していますか?

このカテゴリは初期段階です。Gartnerのレポートは、異なるアプローチと設計原則を使用している多くのスタートアップを持つ市場を説明しています。その多様性はイノベーションにとって健全ですが、サイバーセキュリティリーダーが正直に評価する必要があるベンダーリスクをもたらします。

レポートは、ベンダーのソリューションが一般的に利用可能になったときを尋ねること、現在の顧客ベースがどのようなものか、資金調達と財務見通しが何であるかを提案しています。Gartnerはまた、この領域での買収の可能性が非常に高いことを受け入れ、その現実を失格要因ではなく第三者ベンダー管理リスクとして扱うことを提案しています。

価格モデルもスクリーニングに値します。一部のAI SOCエージェントはアラート量に基づいて価格設定されていますが、他のエージェントはデータ量またはトークン使用量に基づいています。

LLMが支持するシステムを通じて高いアラート量を処理するコストは予期しない方法でスケーリングできます。Gartnerは特に購入者に負荷下でコストがどのように動作するかを理解するよう注意します。

4. それはあなたのアナリストをより良くするのか、単に別の方法でより忙しくするのか?

Gartnerのフレームワークのより微妙なセクションの1つは、アナリストの拡張とアップスキルに焦点を当てています。質問は、AIがトリアージを高速化するかどうかではありません。AIの速度は決しての疑問の余地がありません。テクノロジーが時間とともに人間の専門知識を強化するかどうかです。

Gartnerは、ツールに付属するトレーニングとイネーブルメントリソース、AIがアナリスト(脅威狩りを提案したり、ベストプラクティスを推奨したりするなど)のための学習機会を作成できるかどうか、検出エンジニアリング業務を支援するかどうかを尋ねることをお勧めします。

これは、十分に議論されていないAI SOC市場の緊張に導きます。AIが調査のすべての足取りを処理した場合、ジュニアアナリストは上級アナリストになるためのスキルを開発してますか?

最良の実装はこの針をスレッド化し、その推論をトリアージしながら教える方法で彼らの推論を提示し、受け入れるための二項の評決ではなく、アナリストが確認するための透明な調査を与えます。

例えば、Prophet Security彼らの調査を構成し、AIが結論に到達するために取得したすべてのクエリ、データソース、および分析的なステップを示しています。これはジュニアアナリストに、ゴム印を押すための是非の答えではなく、経験豊かな調査官がアラートにアプローチする方法のモデルを与えます。

5. AIの自律性の境界線は何ですか?

Gartnerは「ループ内の人間」と「ループ上の人間」モデルとの間の有用な区別を引き出しています。前者は各アクションの人間の承認が必要です。後者はAIに広い緯度を与えて行動し、戦術的レベルではなく戦略的レベルで人間の監視をします。

どちらのモデルも本質的に正しくない。正しい答えはあなたの組織のリスク、規制要件、および問題のAIシステムの成熟度に依存します。

しかし、Gartnerのフレームワークは購入者に特定の質問をするよう促します。エージェントはどのアクションを自律的に実行でき、どれが人間の承認が必要ですか?アカウント無効化やネットワークアイソレーションなどの高い影響を与える決定のためのガードレイルをどのように実施していますか?自律性レベルはタスクタイプまたはリスクレベルに基づいてカスタマイズできますか?

レポートはまた、フェイルセーフメカニズムの重要性を強調しています。AIエージェントが曖昧性または矛盾する信号に遭遇すると、それはアクションよりもエスカレーションにデフォルト設定すべきです。その設計哲学は、個々の機能よりも重要です。実際のダメージが発生する可能性がある端で、システムがどのように動作するかを反映しているためです。

6. 既存のスタックで実際に機能しますか?

統合の主張は簡単に行うことができ、検証するのは難しいです。Gartnerのフレームワークは、買い手がSIEM、EDR、SOAR、およびアイデンティティプラットフォーム全体のネイティブ統合の深さを評価することを、ロゴウォールの顔値を受け入れるのではなく要求します。

レポートは、しばしば見落とされる質問を提起します。ソリューションはデータ一元化を必要とするのか、またはプラグアンドプレイソリューションとして任意の環境で動作できるのか?

複雑なまたはハイブリッドアーキテクチャを持つ組織では、すべてのデータを1か所に必要とするツールと、複数のセキュリティデータソース全体でクエリできるツールの違いは運用的に重要です。

7. 実際にそれが何をしているのかを見ることができますか?

透明性はおそらくフレームワーク全体で最も重要な評価基準かもしれません。Gartnerは次のことを尋ねます。ソリューションはAIエージェントによって下された決定と措置の説明可能性をどのように提供しますか?すべての自動化されたアクションの人間が読める監査証跡を提供しますか?機密データをどのように処理し、モデルの誤用またはデータ漏洩を防ぐどのようなコントロールですか?

規制対象産業では、これらは素晴らしいものではなく、要件です。しかし、厳密なコンプライアンス要件のない組織でも、説明可能性についてケアすべきです。アナリストがツール十分に採用するのに十分信頼するかどうかに直接影響するためです。

仕事を示さずに評決を産生するAIエージェントは、アナリストを不快な位置に置きます。彼らは信仰で結論を受け入れるか、それはリスクです、または彼ら自身の調査をやり直します。これは、その目的を打ち負かします。

これが、この分野のいくつかのベンダーが採用した理由です。基本的に「ガラスボックス」のアプローチ:データソースに対して実行されたすべてのクエリ、検索された特定のデータ、および決定に到達するために使用されるロジックを文書化します。

Prophet Securityはこれを調査タイムラインと呼び、アナリストは信頼スコアを信頼するのではなく、基になる証拠に戻る各結論をトレースできます。

レポートは、買い手がこの種の明確な説明可能性、機密データの安全な処理、および実際にシステムの将来の動作に影響を与える人間フィードバックのメカニズムを探すべきであることを強調しています。

より大きな絵

Gartnerのフレームワークは、まだ形成されている範囲内で勝者を宣言するための衝動に抵抗するため、正確に価値があります。レポートの注意セクションは、マーケティング主張への過度な依存に対する警告、完全な自律性は今日は実行不可能ではなく、価格モデルと統合の複雑さ周辺の隠れたコストをフラグします。

AI SOCエージェントを評価するセキュリティリーダーのために、要点は簡潔です。テクノロジーは調査負担を削減し、対応時間を改善し、人間のチームが単に手動で処理できないアラート量にカバレッジを拡張するための本物の可能性があります。しかし、その可能性を実現するには、ほとんどの購入プロセスがスキップする構造化された、結果主導の評価が必要です。

Prophet Securityは、Gartnerがこのレポートで概説している同じ原則の多くの周りにそのエージェント型AI SOCプラットフォームを構築しました。AIの推論のすべてのステップを示す透明な調査、データ一元化を必要とせずにSIEM、EDR、ID、クラウドツール全体への統合、およびアナリストが生のアラートではなく完了した調査を確認する場所の人間的ループモデル。

プラットフォームは、彼らを置き換えるのではなく、既存のチームを拡張するように設計され、数分で調査を完了しながら、アナリストに自信を持って決定を下すために必要な証拠とコンテキストを与えます。

Gartnerの評価フレームワークを独自の購買プロセスに適用したい組織では、完全なレポート「これらの重要な質問でAI SOCエージェントの約束を検証する」はダウンロード可能です。

ここからレポートを取得して、ベンダーの回答で探すべき詳細なガイダンスを含む7つの評価カテゴリすべてにアクセスしてください。

翻訳元: https://www.bleepingcomputer.com/news/security/how-to-evaluate-ai-soc-agents-7-questions-gartner-says-you-should-be-asking/

ソース: bleepingcomputer.com