人工知能はもはや未来の概念ではありません。世界中の重要インフラ、企業の運用、セキュリティミッションに統合されつつあります。私たちがAIの可能性を受け入れ、そのイノベーションを加速させる中で、新たな現実にも直面しなければなりません。それは、サイバーセキュリティの対立のスピードが人間の能力を超えてしまったということです。効果的な脅威対応のタイムスケールは、数か月や数日から、わずか数秒へと圧縮されています。
この加速は、人間を戦術的なセキュリティのループから外すことを要求しています。この重大な変化を責任を持って管理するためには、「AIの安全性」に関する抽象的な議論から、「AIのセキュリティ」という実践的かつ構造的な課題へと考え方を進化させる必要があります。確率的AIの力を活用する唯一の方法は、それを決定論的な制御で基盤づけることです。
機械のスピードでの対立においては、人間が対抗策を開発し、テストし、承認する必要があること自体が重大なリスクとなります。例えば、工業用制御システム（ICS）が市の水供給を管理しているとしましょう。AIによる攻撃は、バルブやポンプをミリ秒単位で操作し、壊滅的な障害を引き起こす可能性があります。人間主導のセキュリティオペレーションセンターでは、協調的な異常を数時間も認識できないかもしれません。
しかし、AI主導の防御であれば、攻撃パターンを特定し、脅威インテリジェンスと関連付け、影響を受けたネットワークセグメントを数秒で隔離する対抗策を展開し、運用の完全性を保つことができます。この新たなパラダイムにおいて、最も安全で回復力のあるシステムは、人間の直接的な関与が最も少ないものとなるでしょう。人間による監督は、戦術的なものから戦略的なものへと—そしてそうならなければなりません—移行します。
AIの安全性という誤謬
現在の「AIの安全性」に関する議論の多くは、AIに人間の価値観を持たせるという複雑な目標に集中しています。AIの先駆者であるスチュアート・ラッセルが著書『Human Compatible』で指摘しているように、主な課題は「自分が求めているものを正確なアルゴリズムで表現するのが非常に難しい」という点です。人間の好みを間違えることは「潜在的に壊滅的」です。
これは本質的な問題を浮き彫りにしています。つまり、完璧で普遍的な道徳をプログラムしようとするのは愚かな試みだということです。「人間の価値観」とは何かについて、世界的な合意はありません。たとえ合意できたとしても、頂点捕食者の価値観をより優れた知性に組み込むことを望むでしょうか？
現実には、AIシステム—人間の脳をモデルにしたニューラルネットワークで構築され、完全に人間が作成したコンテンツで訓練されたもの—は、良くも悪くもすでに私たちの価値観を反映しています。したがって、優先すべきはAIを「道徳的」にしようとする無駄な試みではなく、安全にするための実践的な取り組みです。
著者ジェームズ・バラットが『The Final Invention』で警告しているように、私たちは「想像もできないほど狡猾で、強力で、異質なライバルと競争を強いられる」かもしれません。焦点は、AIの運用が制約され、検証可能な環境を設計することで人間の安全を確保することに置かれるべきです。
確率的AIと決定論的制御の調和
AIの力は、その確率的な性質にあります。AIは無数の変数やシナリオを分析し、人間には理解できないような戦略や解決策—たとえば、AlphaGoの一手のように、当初は嘲笑されながらも勝利をもたらしたもの—を見つけ出します。この能力はバグではなく、特徴です。
しかし、私たちの法制度や政策インフラはすべて決定論的な基盤の上に構築されています。安全性やセキュリティの認証は、予測可能な結果を持つテスト可能なシステムに依存しており、明確な責任の所在を確立しています。
これにより根本的な対立が生じます。確率的AIが国家の電力網を管理し、何千人もの命を救う型破りな決断を下した結果、即座に局所的な死者が出た場合、誰が責任を負うのでしょうか？
誰も、また許されることもなく、AIの統計的に優れた戦略的決定を覆す責任を引き受けたいとは思わないでしょう。解決策は、AIを決定論的な箱に押し込めて能力を損なうことではなく、その周囲に決定論的な要塞を築くことです。
これは、NIST SP 800-53などで定められている、厳格な境界保護やポリシーによる情報フロー制御といった、確立されたサイバーセキュリティの原則と一致します。AIの思考そのものを制御する必要はありません。AIが世界とどのように相互作用するかを厳格に制御する必要があるのです。
今後の道筋：AIの封じ込め
3つのトレンドが収束しています。セキュリティオペレーションの超加速化、戦術的ループからの人間の排除の必要性、そして確率的AIと決定論的法制度の衝突です。今後の道筋は、進歩を止めることではなく、新たなセキュリティモデル—AIの封じ込め—を受け入れることです。
この戦略により、AIは人間が定めた境界内で自由に運用・イノベーションを行うことができます。そのためには、デジタルの「堀」を設計し、AIと他システムをつなぐ「跳ね橋」を厳格に管理する必要があります。
厳格に管理・検査されたインターフェースでシステムを設計することで、AIを監視し、外部データによる汚染を防ぎ、その行動が封じ込められた予測可能な領域内にとどまるようにできます。これこそが、AIの戦略的知性という莫大な恩恵を活用しつつ、国家の最も重要なミッションに不可欠な決定論的制御と責任を維持する方法です。
スコット・オートンはOwl Cyber DefenseのCEOです。
翻訳元: https://cyberscoop.com/security-automonous-ai-threat-response/
