データ品質がセキュリティ運用の成否を左右する理由

制御実験により、強化されたネットワークテレメトリが基本的なログを調査ベンチマーク全般で大幅に上回ることが明らかになりました。

AIが脅威のトリアージ、インジケーターの抽出、インシデントレポート生成など、セキュリティオペレーションセンター(SOC)のワークフローをより多く担うようになるにつれ、セキュリティ運用のリーダーたちは根本的な疑問に直面しています。SOCのパフォーマンスは、導入する大規模言語モデル(LLM)に依存するのか、それともそのモデルが消費するセキュリティデータの品質に依存するのか?

学術研究の見解は一致していません。Frontiers in Artificial Intelligenceに掲載されたオリジナル研究論文は、Claude 3.5 Sonnet、Gemini、ChatGPT 4o、Mistral Large 2といった最先端モデル間で、精度・関連性・明瞭さといった出力にばらつきがある点を強調しています。一方、Information Systems誌に掲載された論文は、「信頼できるAIアプリケーションには、精度、完全性、一貫性など多くの品質次元にわたる高品質な訓練データとテストデータが必要である」と主張しています。

最近の研究ではデータ側の主張を支持する結果が示されており、モデル選択よりもデータ品質のほうがセキュリティ運用の成否を左右する重要な要因になり得ることが実証されています。この調査結果によれば、忠実度の高いネットワークエビデンスは、主要な調査指標全体でセキュリティ成果を2〜4倍改善できるとしています。

CISOにとって、こうした成果は直接的な運用上のメリットをもたらします。

• 具体的なテレメトリを提供することで、平均対応時間(MTTR)を短縮
• トークン消費量を抑制し、コスト管理に寄与
• セキュリティ投資対効果を高め、セキュリティチームの有効性を証明しやすくする

セキュリティ実務者はこの調査結果を今後のSOCアーキテクチャの意思決定に役立てることができ、CISOはこれをインフラ投資の正当化、アラート疲労による分析官の離職率低下、そして経営陣や取締役会に対する説得力あるセキュリティ指標の提示に活用できます。

その疑問を検証する

エンタープライズセキュリティ環境におけるAIパフォーマンスの真の決定要因を測定するため、Provably Better Data研究プロジェクトは制御されたテストフレームワークを構築しました。このプロジェクトでは、2つの運用ベンチマークにわたってモデルのパフォーマンスを評価しています。

• Capture the Flag(CTF)シナリオ: Volt Typhoon攻撃キャンペーンを題材にした44問の調査
• インシデント対応分析: Salt Typhoonのデータセットを題材にしたレポート生成タスク

データ品質を単一の変数として切り分けるため、テストハーネスは4種類のネットワークテレメトリソースを同一条件下で処理しました。

• Corelightの強化ログ
• オープンソースのnDPIファイアウォールログ
• Snort 3侵入検知システムのアラート
• NetFlow接続テレメトリ

テストの正確性と再現性を確保するため、各データセットはOpen Cybersecurity Schema Framework(OCSF)正規化スキーマを介して複数回実行されました。使用されたLLMは、Anthropic Claude Opus 4.6、Google Gemini Pro 3.1 Preview、および両プロバイダーの旧世代モデルです。各モデルはすべてのテスト実行を通じて同一のプロンプトで独立してテストされ、CTFの正答率と、利用可能なエビデンスによって裏付けられたインシデント対応(IR)の主張に基づいて採点されました。

調査結果: 自動化されたワークフローにおけるエビデンスの限界

• Corelightのログは正しい回答であるFINANCE01を提供しました。これはCorelightのNTLMログのserver_nb_computer_nameフィールドに記録されているもので、ZeekがNTLM Type 2チャレンジメッセージを解析し、サーバーのコンピューター名を抽出していました。
• ファイアウォールログはNTLMプロトコルの活動を検出したものの、NTLMチャレンジ内の個別フィールドを解析できず、正しい回答を返せませんでした。

こうしたテレメトリの欠落は、運用上大きな支障をもたらしかねません。ファイアウォールログは全体的な接続の可視性を提供したものの、プロトコルフィールドの欠落により調査は不完全なままとなりました。エビデンスが欠けている場合、人間の分析官が自動出力を手作業で検証しなければなりませんが、エビデンスが揃っていれば、AIはすぐに行動へ移せる回答を導き出せます。

優れたデータは2〜4倍優れた成果をもたらす

本プロジェクトで観測されたデータによれば、忠実度の高いデータは、標準的なログと比較して2〜4倍優れたセキュリティ成果をもたらすことが示されました。

44問のCapture the Flag(CTF)ベンチマークでは、元となるデータソースによって正答率が劇的に変動しました。

• Corelightログ: 正答率95.2%
• ファイアウォールログ: 正答率58.3%
• Snort 3アラート: 正答率39.4%
• NetFlowレコード: 正答率25.8%

より豊富なテレメトリへのアクセスは、モデルのパフォーマンスに測定可能な影響を与えました。Corelightは各LLMが44問すべてに直接的なログのエビデンスをもって回答できるようにした一方、NetFlowは15問しか裏付けできませんでした。その結果、CorelightのCTFスコアは4,178.3ポイントに達し、NetFlowの970.0ポイントと比べて4倍以上の向上を示しました。

インシデント対応の実験でも、全体的なカバレッジ、総合採点、そして重大な調査結果の各項目で同様の差が見られました。

• Corelightログ: エビデンスカバレッジ率90.3%
• ファイアウォールログ: エビデンスカバレッジ率61.3%
• NetFlowレコード: エビデンスカバレッジ率30.9%
• Snort 3アラート: エビデンスカバレッジ率21.2%

Tier 1の重大な調査要件に関しては、Corelightのログを使用したモデルは必須質問の91.7%に回答できた一方、NetFlowログではわずか18.3%、Snort 3アラートではわずか10%しか対応できませんでした。

結果: 高品質なデータは、基本的なフローレコードと比べて重大インシデントの可視性を5倍向上させました。

調査速度についても、強化されたデータによって大幅に改善しました。LLMは、Corelightのログが提供された場合、調査全体をわずか14.7分で完了しました。同じモデルでも、NetFlowログでは27.0分、ファイアウォールログでは26.3分を要しています。

結果: 低品質なデータは、モデルが繰り返しリトライループに陥ることで、調査時間をほぼ2倍に押し上げました。

また、欠落しているエビデンスを「回答不能」と明記するようプロンプトで指示した場合、LLMがハルシネーション(幻覚)による出力を生成することはほとんどなかった点も注目に値します。Corelight、ファイアウォール、NetFlowの各データセットではハルシネーション件数がゼロ(0)にとどまった一方、Snort 3アラートでは1.9件のハルシネーションが記録されました。根拠に基づいたモデルは、分析官が捏造されたエビデンスを追いかける事態を防ぎ、調査時間を短縮するとともに結果への信頼性を高めます。

セキュリティリーダーへの提言

AIによる自動化は、企業ネットワーク全体における脅威検知、インジケーターの追跡、インシデント封じ込めを加速させることができます。しかし、効果的な自動化は自動的に実現するものではありません。信頼できる成果を得るには、完全で構造化され、プロトコルを理解したテレメトリが不可欠です。

この調査によれば、モデルのアップグレードや複雑なプロンプトエンジニアリングだけでは、根本的なデータの不備を克服することはできません。今回の実験結果を踏まえると、今後のオペレーションセンター投資を計画するSOCリーダーは、モデル選択よりもエビデンスの品質を優先することを真剣に検討すべきです。

より詳しい分析については、Corelightのウェブサイトに掲載されているProvably Better dataホワイトペーパーで、詳細な手法、エージェントアーキテクチャ、実験の全指標をご確認ください。

Corelight Network Detection and Response

優れたデータはセキュリティ成果を2〜4倍向上させることができます。忠実度の高いネットワークエビデンスが、AI駆動型セキュリティの前提条件である理由をご覧ください。Corelight: 世界で最も機密性の高いネットワークを守る。詳細はこちら。