AIにサイバー防衛のハンドルを握らせてはいけない理由

人工知能の驚異的な可能性を無駄にしたいなら、手っ取り早い方法があります。自動化を実際の安全と混同したり、ピカピカの新機能を真のレジリエンスだと勘違いしたりすることです。

私たちはいま、セキュリティの世界で奇妙で緊迫した瞬間を生きています。AI開発は多くの企業が正直ついていけないほどの速度で進んでいる一方、市場には「自律型」サイバー防衛をうたう売り文句があふれています。語り口はいつも同じです。このシステムを導入すれば、あなたがコーヒーを取りに行っている間にセキュリティの混乱を片付けてくれる、と。

率直に言います。私はその約束を強く疑っています。AIは信じられないほど強力なツール（この時点ではおそらく不可欠なもの）ですが、それでもなお単なるツールにすぎないことを忘れてはいけません。最良の結果は、人を機械に置き換えることからは生まれません。人間の専門性とAIの能力を組み合わせることから生まれるのです。

「クローズドループ」の危険性

この区別は単なる哲学的な話ではありません。これらのシステムが実際にどのように機能するかに関わるため、重要なのです。

完全自律型システムについて語るとき、私たちが語っているのはループです。AIがデータを取り込み、判断し、出力を生成し、そしてその出力を直ちに取り込んで次の判断を下します。この一連の鎖は、最初のデータの品質と完全性に大きく依存しています。

問題は、最初から最後までデータが完璧だと保証できる組織がほとんどないことです。サプライチェーンは雑然として混沌としています。データの出所を見失います。モデルは時間とともに精度から乖離していきます。そのループから人間の監督を外してしまえば、より良いシステムを作っているのではなく、単一のシステム的故障点を作り、それを高度さとして偽装しているだけです。

透明性こそ唯一の解毒剤

これを正すには、絶対的な明確さが必要です。ネットワークのどこでAIが稼働しているのか、どのデータを咀嚼しているのか、どんな判断を下す権限が与えられているのか、そして—決定的に重要なのは—どの具体的なしきい値がアラートを発し、人間が介入するトリガーになるのかを、正確に把握しなければなりません。

そのためには強固なガバナンスと確かなポリシーが必要です。しかしそれ以上に、リーダーが自分自身を省みて、どれほどのリスクを許容するのかを正直に認めることが求められます。ハンドルもブレーキペダルもない自動運転車に家族を乗せないのなら、なぜ監督のないアルゴリズムにサイバー防衛戦略のすべてを委ねるのでしょうか。

テクノロジーは失敗します。不具合も起きます。経験はその教訓を何度も私に教えてきました。

レジリエンスは人間のもの

同じ経験が、もう一つのことも教えてくれました。システムが落ちたら、人が直すまで落ちたままです。すべてを魔法のように優雅に元通りにする自己修復機能などありません。

侵害が起きたとき、再建するのは人です。被害に対処し、サービスを復旧させようとするのはエンジニアです。不完全な情報に基づいて難しい判断を下すのはインシデント指揮官です。AIはそれらのチームを支援できますし、支援すべきです—弱い兆候を浮かび上がらせたり、洪水のようなアラートに優先順位を付けたり、取り得る行動を提案したりするのは得意です。しかし、大規模な攻撃の後にAIが独力でバラバラになったものを元に戻すという考えは幻想です。

真のレジリエンスは、最終的には人間の介入に依存します。

国連の科学諮問委員会が、今後10年にわたってレジリエンスを保ちたいならフロンティアAIの能力に追随することが重要だと言うのは正しい。脅威は急速に進化しています。敵対者はすでにAIを使って偵察をスケールさせ、ディープフェイク動画を捏造し、より説得力のあるフィッシングメールを書き、執拗な速度で防御を探っています。私たちは遅れを取る余裕はありません。

しかし、「追随する」ことは「主導権を明け渡す」ことと同じではありません。目標は責任ある加速であるべきです。速く動く必要はあります、確かに。しかし、そのプロセスにガバナンス、透明性、人間の判断を組み込んだ形で進めなければなりません。

現実の世界では、これはどのように見えるのか？

では、実際にどうすればよいのでしょうか。第一に、システムやデータに作用し得るあらゆるAIについて、「人間がループに入る（human-in-the-loop）」をデフォルト設定にしてください。自動封じ込めは攻撃の最初の数秒で命綱になり得ますが、あらゆる自律プロセスにはガードレールが必要です。監査可能でなければならず、信頼度が下がった瞬間、あるいは利害が大きくなりすぎた瞬間に、人間のオペレーターへ明確に引き継ぐ仕組みが必要です。

第二に、データの出所について本気で取り組んでください。モデルがどこから入力を得ているのかを正確にマッピングする。ソースを検証する。ドリフトを監視する。なぜその判断がなされたのかを文書化する。AIが特定の結論に至った経路を追跡できないのなら、誰かが見ていない状態で本番環境に変更を加えさせるべきではありません。

第三に、AIを活用したサイバー演習を、IT部門だけでなく取締役会の優先事項として扱ってください。ツールが間違っている、遅い、あるいは侵害されている状況でシミュレーションを実施する。エスカレーション経路をストレステストする。「賢い」システムが愚かな振る舞いをしたときに、AIの出力を疑い、どう復旧するかをチームにコーチングする。

危機の真っただ中で脆さを発見するより、訓練で見つけるほうが常に良いのです。

それを実行し、データ層の完全性とガバナンス層の説明責任を備えた「人間＋AI」を徹底できれば、このテクノロジーの最良の部分を活かしつつ、最悪のリスクに屈せずに済みます。重要なものを守りながらフロンティア能力に追随する方法はそれです。ブラックボックスに判断を外注するのではなく、AIを監査可能で信頼できるパートナーとして、人間主導のレジリエントな防衛に組み込むことです。