無害な真陽性(benign true positive):信頼されたAIエージェントが攻撃者のように見えるとき

AIエージェントは、新たな種類のセキュリティイベントを生み出しています。CISOは、行動検知、アイデンティティ、調査、そしてSOCの運用モデルを見直す必要があります。

コーディングエージェントが数百のファイルを開き、コマンドラインツールを起動し、タスクを完了するために社内サービスに接続します。サポートエージェントは複数のシステムに認証し、顧客記録を取得して、別のアプリケーションを更新します。ワークフローエージェントは、クラウドリソースを数秒で列挙し、割り当てられた作業の次の段階へ進みます。

エンドポイント、アイデンティティ、クラウドのセキュリティプラットフォームから見ると、こうした一連の動きは、偵察、認証情報へのアクセス、横展開(ラテラルムーブメント)、あるいはデータ窃取の初期段階と区別がつきません。セキュリティ製品は攻撃に関連する挙動を正確に特定していますが、実際にはエージェントが承認された業務タスクを実行しているだけです。

企業がソフトウェア開発、カスタマーサポート、財務、IT、セキュリティの各分野にAIエージェントを導入するなか、私はこのパターンを目にするようになってきました。私はこれを「無害な真陽性(benign true positive)」と呼んでいます。正当なマシンの活動が生み出す、攻撃に似た挙動を正確に検知したものです。

CISOにとって、これは振る舞い型セキュリティの根底にある前提を揺るがすものです。これまで数十年にわたり、攻撃に似た挙動はただちに疑う根拠になってきました。正当なシステムが、今のAIエージェントのような速度、範囲、自律性で動作することはほとんどなかったためです。この前提は弱まりつつあり、セキュリティリーダーは、チーム、プロセス、テクノロジーポートフォリオをその影響に備えさせる必要があります。

行動ベースラインは人間を前提に作られてきた

現代の検知システムは、人間の通常の活動に関連するパターンに大きく依存しています。人は人間のペースでファイルを読み、見慣れた順序でアプリケーション間を移動し、一般に一度に一つの操作でシステムとやり取りします。アカウントが突然数千のリソースを列挙したり、複数の環境にまたがって一連のプロセスを起動したりすれば、調査に値します。

AIエージェントの動作パターンは異なります。幅広くコンテキストを収集し、タスクを並行して実行し、与えられた目標の必要に応じてシステム間を移動します。コーディングエージェントは、数行を変更する前にリポジトリ全体を調べることがあります。サポートエージェントは、顧客からの依頼を解決するために各アプリケーションのデータが必要となるため、複数のアプリケーションに認証することがあります。

その結果得られるテレメトリは、セキュリティツールが検知するよう設計されたシグナルとしばしば一致します。既存の制御は今後もアラートを出し続け、そのアラートは技術的には正しいことが多いでしょう。セキュリティチームは、その挙動が、承認されたタスクによるものか、侵害されたエージェントによるものか、操作された指示によるものか、盗まれた認証情報によるものか、あるいは通常のエージェント活動を模倣する攻撃者によるものかを見極めなければなりません。

広範な抑制ルールはノイズを減らせても、死角を生む恐れがあります。攻撃者は当然、信頼されたエージェントのアイデンティティや承認済みのワークフロー、見慣れたマシン速度のパターンなど、環境に紛れ込むのに役立つものを探すでしょう。

欠けている層は「意図」

セキュリティツールが観測するのは、プロセスの起動、ファイルの読み取り、認証イベント、API呼び出し、ネットワーク接続といった行動です。意図は、その周辺のコンテキストにあります。

調査担当者は、誰がそのエージェントを所有しているのか、どのタスクが割り当てられていたのか、誰がタスクを開始したのか、どのシステムの使用が許可されていたのか、どのデータにアクセスできたのか、そして行動が承認された範囲内にとどまっていたのかを把握する必要があります。さらに、別のユーザー、プロセス、あるいは外部からの入力がエージェントの指示を書き換えていないかも判断しなければなりません。

こうした答えは、アイデンティティシステム、エージェントオーケストレーション基盤、クラウドインフラ、業務アプリケーション、チケット管理システム、セキュリティスタックに分散している可能性があります。イベントを再構築するには、これらのソースをまたいだ相関分析と、エージェントが何を達成しようとしていたのかについての明確な説明が欠かせません。

大企業では、近いうちに事業部門や技術部門をまたいで数千のエージェントが稼働するようになるかもしれません。この規模で、人間のアナリストがすべてのイベントを手作業で再構築することはできません。セキュリティ運用には、マシンの速度で意図を復元し、観測可能な証拠に基づく結論を提示できる調査能力が必要になります。

CISOが取り組むべき3つの投資優先事項

1. エージェントのアイデンティティとガバナンス

第一の優先事項は、エージェントのアイデンティティとガバナンスです。すべてのエージェントに、明確な所有者、定められた目的、担当業務に限定した認証情報、そしてアプリケーション、ツール、データへの文書化されたアクセス権を持たせるべきです。SOCは、個々の行動を、その起点となったワークフロー、ユーザーからの依頼、または業務プロセスに結び付けられなければなりません。

そのためには、稼働中のエージェントの一覧、ライフサイクル管理、アクセスレビュー、機密性の高い操作に対する承認要件、そして行動を責任ある所有者に結び付ける監査証跡が必要です。共有のサービスアカウントや広範な権限は、調査を遅らせ、封じ込めを難しくします。目的別のアイデンティティとタスクの来歴(プロビナンス)があれば、SOCは不正使用を見抜くために必要なコンテキストを得られます。

2. 調査アーキテクチャ

第二の優先事項は、調査アーキテクチャです。セキュリティリーダーは、現在のスタックがエンドポイント、アイデンティティ、クラウド、ネットワーク、SaaS、エージェント基盤をまたいで証拠を集められるかどうかを評価すべきです。有用なシステムは、イベントの時系列を再構築し、組織固有のコンテキストを適用し、不足している情報を文書化し、どのように結論に至ったかを説明できる必要があります。

SOCにおけるAI投資は、証拠収集、システム横断の相関分析、適応型の推論を支援するものであるべきです。入手できるデータでは確信を持って判断できない場合には、明確にエスカレーションできることも求められます。

3. チーム設計

第三の優先事項は、チーム設計です。アナリストは今後、人間とマシン双方の行動を調査するシステムを統制する役割をますます担うようになります。彼らの専門知識が、運用上の境界、例外処理、検知ロジック、そして調査で用いられるコンテキストを形作ります。

セキュリティリーダーは、検知エンジニアリング、脅威ハンティング、アイデンティティガバナンス、エージェント監督のスキルに投資すべきです。アナリストには、繰り返し発生する行動の衝突を検証し、アクセスポリシーを改善し、ワークフローを見直し、自動化された結論に異議を唱えるための時間と権限が必要です。

無害な真陽性の一つひとつが、エージェントがどのように使われているか、そしてどこで制御を成熟させる必要があるかを学ぶ、運用上の知見の源になり得ます。

SOCの新たな運用モデル

従来のSOCは、アラートをアナリストに送り、アナリストが証拠を集めて何が起きたかを判断します。AIエージェントは大量の活動を生み出す新たな発生源となり、そこから生じるアラートの多くは、正当な行動を正確に検知したものになるでしょう。

SOCには、迅速な解釈を軸にした運用モデルが必要です。承認されたイベントであれば、調査によって、特定のエージェントが承認済みのアイデンティティで特定のシステムにアクセスし、正当なタスクを遂行し、権限の範囲内にとどまり、逸脱の証拠がなかったことを示せなければなりません。リスクのあるイベントであれば、活動がエージェントに想定された範囲をどこで超えたのか、そしてなぜ人間によるレビューや封じ込めが必要なのかを示すべきです。

この水準の明確さは、機微な検知を維持し、アナリストを判断が求められる案件に集中させます。また、可視化された証拠、明確な説明責任、測定可能な成果を通じて、自律性を高めるシステムへの信頼を築くための現実的な道筋にもなります。

次なるアラート増加要因への備え

CISOはまず、組織内のどこですでにエージェントが稼働しているかを洗い出すところから始めるべきです。

多くの組織は、開発者ツール、SaaSプラットフォーム、部門ごとの自動化、エージェント機能を組み込んだ業務アプリケーションを通じて導入された活動を発見することになるでしょう。

次のステップは、エージェントの所有者、アイデンティティ、権限、タスクの来歴、ポリシーをセキュリティ運用に結び付けることです。チームは、代表的なエージェントのワークフローに対して既存の制御がどう反応するかをテストし、無害な真陽性を独立した運用カテゴリとして追跡すべきです。

AIエージェントは、「通常の行動」の意味を変えつつあります。今から備えるセキュリティリーダーは、可視性を維持し、ガバナンスを強化し、マシン速度の活動の背後にある目的を理解できるSOCを築くことができます。

信頼されたマシンは、ますます攻撃者のように見えるようになるでしょう。意図を素早く復元できる組織こそが、その違いを見分ける上で最も有利な立場に立てます。

翻訳元: https://www.csoonline.com/article/4248451/the-benign-true-positive-when-trusted-ai-agents-look-like-attackers.html

本記事は csoonline.com の記事を翻訳・要約したものです。