AI支援の検知は信頼しやすいが、AI主導の封じ込めは別問題

Tinesの「Security Hype Check」は、セキュリティ責任者と実務担当者70人を対象に実施した調査です。回答者の91%が、2027年にAIの自律性を高める計画だと答えました。一方、現在のAI活用について、一部の判断を自律的に実行できるほど深く統合されていると答えたのは9%にとどまります。

AIの用途を見ると、この隔たりはさらに明確になります。脅威検知や異常の特定にAIを使っている回答者は64%です。これに対し、ホストの隔離やアカウントの無効化といった封じ込めに使っているのは26%にすぎません。検知は封じ込めの2.5倍普及していることになります。なお、これらの結果は回答者による自己申告であり、業界全体の状況を示すものではありません。

ある場面を想定すると、この差が生じる理由がわかります。セキュリティオペレーションセンター(SOC)が、決済処理を支えるサービスアカウントに関わる不審な動きを検知しました。AIエージェントはそのアカウントの無効化を推奨します。この動きは侵害の兆候かもしれません。しかしアカウントを無効にすれば、決済が止まる可能性もあります。

エージェントは承認なしに実行してよいのでしょうか。

エージェントの脅威判断が正しくても、事業側が許可していない措置を取ってしまうことはあり得ます。判断への確信度だけでは十分ではありません。実行するには、介入の条件について合意が必要です。その中には、組織が許容できる業務への影響も含まれます。多くのチームはこうした条件を決め切れていません。検知は自動化されても、封じ込めは自動化されにくいのはそのためです。

調査では、監査での説明可能性、リソース、コンプライアンスなど、複数の障壁が挙げられました。その多くの背後には、次の3つの問いがあります。エージェントに何を許可するのか。エージェントの行動を誰かが証明できるのか。誤っていた場合に事業は回復できるのか、という問いです。

理由1:許容できる業務停止の範囲を誰も定義していない

決済用アカウントについて、チームは、どの処理がそのアカウントに依存しているのか、サービスの責任者は誰なのかを把握しておく必要があります。リスクスコアからは、アカウントを無効にした結果、バックグラウンドの処理が止まるだけなのか、顧客が購入を完了できなくなるのかはわかりません。

それがわからない状態では、慎重なチームが人間の関与を残すのはもっともです。この慎重さを乗り越えるには、セキュリティ部門とサービス責任者が、即時の封じ込めを認める状況と承認が必要な状況について合意しなければなりません。合意には、証拠が不十分な場合や、指定された承認者と連絡がつかない場合の扱いも含める必要があります。何も決めていないことが、なし崩しの許可になってはいけません。

こうした線引きは、エージェントの権限と実行時の制御によって強制すべきです。脅威が差し迫って見えるときでも、どこまでの業務影響を許容できるかを、モデルの確信度で決めることはできません。

理由2:何が、なぜ起きたのかを証明できない

AIの自律性を高めるうえで最も多かった障壁は、監査やレビューの場でAIの判断を説明するのが難しいこと(23%)でした。決済アカウントの例がその理由を示しています。

エージェントがアカウントを無効化し、決済が失敗したとします。レビューの場で、エージェントはもっともらしい説明をします。動きが認証情報の侵害に似ていたため、封じ込めが必要だったというものです。

しかし、この説明だけでは、その措置がポリシーに沿っていたかどうかはわかりません。

それを判断するには、実行時に記録された情報が必要です。具体的には、エージェントが利用できた証拠と、その出典や鮮度です。レビュー担当者は、適用されたポリシーのバージョンと、得られた承認を特定できなければなりません。エージェントが要求した内容と、システムが実際に行った内容も区別する必要があります。APIリクエストが受理されたからといって、封じ込めが機能した証拠にはなりません。意図したアクセスが実際に遮断されたか、既存のセッションが有効なままではないかなども、チームが確認する必要があります。

生成された要約は、レビュー担当者がこうした記録を理解する助けになります。ただし、証拠の欠落を補うことはできません。

例外への対応も、誰かが責任を持つ必要があります。例外を調査し、必要に応じてエージェントの権限を停止する役割です。エージェントの侵害の見立てが正しくても、権限外の行動をしていたなら、検知精度を上げても統制の不備は解消されません。

理由3:復旧は「元に戻す」ボタンほど簡単ではない

アカウントの再有効化は数秒で済むかもしれません。しかし、決済プロセスを元に戻すには、はるかに長い時間がかかる可能性があります。

失敗した取引は照合が必要になる場合があります。再試行によって二重処理が起きる恐れもあります。購入に失敗した顧客は、すでに他社に移っているかもしれません。技術的には元に戻せる操作でも、事業には長く残る損害を与えることがあります。

ここまで考え抜いたチームが警戒するのは、当然のことです。自律的な権限を与える前に、決済サービスを使って次のシナリオを検証してください。

  • 実際に侵害されている場合
  • 誤検知の場合
  • アカウント情報が古い場合
  • 承認者と連絡がつかない場合
  • 封じ込め要求が一部しか成功しない場合

ポリシーの条件が欠けているとき、エージェントが停止するか、上位にエスカレーションするかを確認します。そのうえで、サービス責任者とともに復旧を演習しましょう。エージェントのそれ以上の動作を止められるのは誰か、侵害を再び招かずにアクセスをどう復元するかも確認します。復旧時間は、アカウントを有効にした時点で計測を止めず、決済が正常に動くまでを測ってください。

この結果をもとに、どのような場合に業務への影響を承知で即時封じ込めを行うのか、どのような場合により限定的な措置が適切か、どのような場合に承認が必要かを定めます。

自律性を広げるために必要なこと

自律的な封じ込めへのためらいは、臆病さの表れではありません。障壁としては、予算と規制上の制約も上位に入っています(いずれも22%)。ただ多くの場合、ためらいの背景には、まだ答えが出ていない問いがあります。CISOは、エージェントに行動を許す前に、次の点を説明できる必要があります。

  1. そのアカウントが何を支えているのか、誰が責任者か
  2. どのポリシーが介入を認めているか
  3. 措置が機能したことをどう検証するか
  4. 復旧にどれだけ時間がかかり、誰が指揮するか

決済アカウントは、直ちに無効化すべきかもしれません。人間の承認が必要かもしれません。この想定だけでは、どちらかを決められません。AIの確信度は脅威評価の材料になります。しかし、行動の許可は、合意済みの対応ポリシーから与えられなければなりません。

AIの自律性について、セキュリティ責任者と実務担当者70人が何を語ったのかは、Security Hype Checkレポートの全文でご覧いただけます。

翻訳元: https://www.cybersecuritydive.com/spons/ai-assisted-detection-is-easy-to-trust-ai-led-containment-isnt/874351/

本記事は cybersecuritydive.com の記事を翻訳・要約したものです。