AIは、セキュリティチームが長年時間を費やしてきた業務の多くにおいて、着実に能力を高めています。情報の分析、パターンの特定、そして技術的に妥当な推奨事項を迅速に提示すること――こうした作業が定型化するにつれ、実務担当者が時間を割く対象そのものが変化しています。
技術的に妥当な推奨事項にたどり着くこと自体も容易になっている一方で、その推奨事項をどう扱うかという判断の重みは増しています。あるアクションがセキュリティの観点から完全に理にかなっていたとしても、周囲のシステムや人、ビジネスに及ぼす影響次第で、正しい判断は変わり得るからです。
経験豊富な実務担当者は、AIシステムには通常備わっていない文脈を持っています。システムが実際にどう使われているか、どの部門がそのシステムに依存しているか、過去のインシデントで何が起きたか、あるアクションが何を引き起こしがちか――こうした知識です。この文脈こそが、チームの次の判断を左右することが少なくありません。
セキュリティリーダーがAIに運用上のより大きな役割を委ねていく中で、この点は重要な意味を持ちます。AIにどこまで自由に行動させ、どこで人間の判断を介在させ続けるかを決めるのは、リーダー自身だからです。判断が特に難しいケースの中には、分析そのものは技術的に妥当であっても、AIが参照できる情報にその環境特有の文脈が十分含まれていないことに起因するものがあります。
セキュリティチームはこうした状況に日常的に直面しています。例えば、公開エクスプロイトが存在する重大な脆弱性は、即座にパッチを適用すべきケースが多いでしょう。しかし、それが製造ラインの制御装置やベンダー認証下で稼働する医療機器に関わるものであれば、予定外の再起動が生産停止や規制上の問題を招きかねません。どう、そしていつ対応すべきかは、その環境によって決まるのです。
不審なインフラについても同様です。悪意ある活動に紐づくIPアドレスが、実は共有クラウドインフラやビジネスサービスが依存するコンテンツデリバリーネットワークの一部である場合もあり、それをブロックすればそれらのサービスも道連れに停止してしまいます。
文脈が判断を変える
経験豊富な実務担当者は、資産管理台帳にもランブックにも、AIがアクセスできるいかなるデータセットにも記載されていない、自分たちの環境についての知識を持っています。一見重要度の低いサーバーが、実は重要な業務プロセスを支えていること。過去のインシデントで、あるネットワークセグメントを切り離した際に別のサービスまで停止してしまったこと。そして、一見敵対的に見える活動が、実は許可されたレッドチーム演習やセキュリティテスト、あるいは予定されていたベンダー作業であること――こうしたことを彼らは見抜けます。
例えば、あるケースでは、サービスアカウントの認証活動がベースラインを大きく上回り、しかも見慣れないホストから午前3時にアクセスしているという事象がありました。AIの推奨は、調査が完了するまでこのアカウントを無効化することでした。しかし経験豊富なアナリストがそのアカウントの活動を確認したところ、同じ急増・同じホスト・同じ時間帯のパターンが四半期決算のたびに、年4回発生していることに気づきました。統計的には異常でも、その業務プロセスにとっては全く正常な活動だったのです。もしアカウントを無効化していれば、財務決済処理が途中で止まり、手作業での照合に数日を要していたでしょう。
これは、AIの役割を拡大しつつあるCISOが今まさに直面している判断の一つです。システムにどこまでの自律性を与えるかは、モデルの確信度や脅威の深刻度だけを主な基準にすべきではありません。なぜなら、どちらの指標も、推奨されたアクションを実行した後に何が起きるかまでは教えてくれないからです。より適切な判断基準は「可逆性」と「影響範囲」であり、これらは別々に評価する必要があります。ドメインコントローラーの隔離は、再接続すれば元に戻せるという意味では可逆的ですが、タイミングを誤れば組織全体を巻き込む障害を引き起こしかねません。
影響が小さく可逆的なアクションは、適切な安全策を講じた上で、より高い自律性を与える候補として適しています。一方、アクションが元に戻しにくい場合、影響範囲が広い場合、法的・信頼上の境界を越える場合、証拠として得られている範囲を超えてシステムに影響を及ぼす場合、あるいは事後調査を行う組織の能力を損なう場合には、より慎重な精査が必要です。
AIモデルとその能力は今後も変化し続けます。それでもセキュリティリーダーは、AIに許可するアクションが及ぼしうる影響を理解し続ける必要があります。
人が実際に何をしているかを見る
AIの導入により、アナリストはかつて少数の案件を調査していたのと同じ時間で、何十件もの推奨事項をレビューしなければならなくなる場合があります。一人ひとりのアナリストが下すべき判断の数は増えているのです。組織は、それらの判断がどのような結果につながっているかを測定する必要があります。
選んだKPIによって、引き出される行動は変わります。自動化率を重視する指標にすれば、人はより多くの案件を承認しようとするインセンティブを持ちます。平均対応時間(MTTR)を重視する指標にすれば、人は案件をより早くクローズしようとします。しかし、どちらの指標も判断そのものの質が向上したかどうかは測れません。自動化率90%という数字だけでは、CISOにとってほとんど何も分かりません。重要なのは、人が介入した残り10%のケースで何が起きたかです。
リーダーは、推奨事項が担当者の手元に届いた後に何が起きるかに注目すべきです。アナリストがその推奨をそのまま承認したのか、修正したのか、却下したのか――これは自動化率単体よりも多くを物語ります。レビューに費やした時間や、アナリストの介入が結果を変えたかどうかも重要な指標です。
AIの推奨事項は、レビューがかえって難しくなる場合があります。一見すでに十分な裏付けがあるように見えることが多いためです。説明は流暢で、適切な専門用語を使い、一見信頼できそうな根拠を示していますが、その根拠が結論を完全には裏付けていないこともあります。経験豊富な実務担当者がこれまで脆弱な分析を見抜くために頼ってきたシグナルが、格段に見えにくくなっているのです。
過小な依存にも注意が必要です。正しい推奨事項に対して何も付加価値を加えないまま疑いをかけ続けるアナリストは、本来AIがもたらすはずだった効率性を損なってしまいます。ここで有用な指標となるのが承認までの所要時間です。推奨事項が長い待ち行列の中でほぼ即座に承認されているような状況、特に担当者が業務過多に陥っている場合は、実際にどれだけレビューが行われているのかをリーダーが確認すべき兆候といえます。
AIの推奨事項は説得力があるように見えるため、レビューが難しくなることがあります。適切な言葉遣いで、実在する根拠を示してくることもあるでしょう。それでもレビュー担当者は、その根拠が本当に推奨事項を裏付けているかどうかを確認する必要があります。
セキュリティ運用でAIの活用を拡大しているCISOにとって、すべての自動アクションの前に人間による承認ステップを設けるだけでは不十分です。リーダーは、誰かが推奨事項を承認したという事実だけでなく、そのレビューの過程で何が行われたのかを把握する必要があります。
自律性に関するポリシーは、可逆性と影響範囲を軸に構築してください。人がAIの推奨事項に対して実際にどう振る舞っているかを追跡し、既知の誤った推奨事項を管理されたワークフローに意図的に紛れ込ませることで、監視体制が機能しているかどうかを検証してください。
特に注意が必要なのが偽陰性(false negative)です。偽陽性(false positive)であれば、チームが調査すべき対象が生まれます。しかし、確信を持った偽陰性は何も生み出さず、「発見事項がない」ということ自体が安心材料のように感じられてしまいます。AIが出した「異常なし」という判定は、特に見落としの結果が重大な場合には、根拠を要する一つの主張として扱うべきです。
AIが初期分析のより多くを担うようになるにつれ、実務担当者は文脈と経験を要する判断に、より頻繁に直面することになります。セキュリティリーダーは、判断力がチームの働き方の中に確実に組み込まれ続けるようにしなければなりません。技術的に妥当な推奨事項により速くたどり着けるようになったとしても、それが役立つのは、その後に取るアクションがその環境にとって理にかなっている場合に限られるのです。
翻訳元: https://cyberscoop.com/ai-security-operations-human-context-ciso-op-ed/
