AI警告書簡が完全に見落としていたこと

意見

先日、OpenAI、Anthropic、Microsoft、Googleを含む100社を超えるテクノロジー企業が、AIによって高度なサイバー攻撃が今後はるかに安価かつはるかに一般的になろうとしていること、そして「サイバー防御を強化するための時間は限られている」と警告する公開書簡を発表しました。

私はこれを二度読みました。一度目はセキュリティ組織の責任者として、ほぼすべての行にうなずきながら。二度目は、実際に手を動かすのは誰なのかという記述を探しながら。しかし、それは見つかりませんでした。

これから展開する議論の前に、この書簡が正しく指摘している点も多いことは認めなければなりません。脅威は決して仮定の話ではありません。8月19日、米国の連邦政府機関5つが、水処理施設や発電所、化学プラントなどを制御する、外部に露出したSiemens S7コントローラーを標的に、正規の監視ツールを装ったAI生成の悪用スクリプトを脅威アクターが使用していたことを文書化しました。かつてこうしたツールを作るには専門的なプロトコル知識が必要でした。この知識こそが、実質的に多くの小規模公益事業者を守る堀の役割を果たしていました。それに加えて、インターネットから隔離されているだろうという淡い期待もです。しかし今やその堀は干上がり、渡ってくる側もそのことを承知しています。

とはいえ、私はこの書簡の前提に対していくらか懐疑的であることを告白しなければなりません。そして、そう考えているのは私だけではありません。この書簡が発表されたのと同じ日、英国最古の防衛シンクタンクであるRUSIのアナリストたちが、AIとサイバー犯罪に関する分析を発表しており、こちらも一読の価値があります。彼らの主張はこうです。「犯罪におけるイノベーションは、新しい技術が窓を開いたことへの反応ではなく、収益源が閉ざされたことへの反応である」。攻撃者が注目するのは効果が印象的かどうかではなく、実際に儲かるかどうかです。フィッシング、盗まれた認証情報、そして本来インターネットに晒されるべきではなかった機器は、今も規模を問わず十分に稼げます。脅威アクターは決して好奇心が薄いわけではありません。彼らが興味を持っているのはお金であり、その好奇心は、私たちの業界がしばしば見せるものよりもかなり規律だったものです。

それこそが、最近の水道セクターを狙ったキャンペーンの実態です。政府機関自身の評価によれば、これは偵察と事前配置にほかなりません。一気呵成の強奪ではなく、辛抱強い足場固めです。示唆的なのは、彼らがその背後にいる人物を名指ししていない点です。一方で今夏に発表された姉妹版の勧告では、並行して起きていたプログラマブルロジックコントローラー(PLC)への攻撃の波を、はっきりとイランの仕業だとしています。犯人が誰であれ、開けっ放しにされたドアを悠々と通り抜けるのに、最先端モデルなど必要ありませんでした。Siemens自身も対応の中でこの点を認めています。コントローラーに新たな欠陥があったわけではなく、単に古い設定ミスを突く新たな手口が使われただけだと。AIは誰がエクスプロイトを書けるかを変えました。しかし、それを食い止める方法までは変えていません。

証拠は両方向を指しています。オープンウェイトモデルの性能向上に伴い、犯罪者による採用が加速しているとの報告も別にあります。今後12カ月でどちらに転ぶかは、私にも分かりません。そして重要なのは、それを知る必要すらないということです。どちらに転ぼうと、やるべきことは変わらないのですから。

この計画を注意深く読んでみてください。最もリスクの高い弱点を修正すること。購入し、構築し、展開するものの基準を引き上げること。AI生成コードを精査すること。AIを活用した防御を展開すること。インテリジェンスを共有すること。

すべての推奨事項は動詞であり、セキュリティにおけるあらゆる動詞は人によって実行されます。この計画は、動詞だけで書かれていて、主語がありません。仮に攻撃者がその窓から侵入してきたとしても、この計画には訓練された実務者が欠けています。仮に彼らが決して現れなかったとしても、すでに私たちに降りかかっている攻撃を防ぐには、同じ実務者が同じ動詞を実行する必要があります。この計画は、どちらの未来においても同じです。ただ、そこに人だけが欠けているのです。

AI防御の溝は「人」の数で測られる

この書簡自身が最も脆弱だと名指ししている防御側、すなわち病院、水道事業者、重要インフラの小規模事業者について考えてみましょう。書簡が挙げる最も効果的な対策は、まったく地味なもので、最先端AIとは何の関係もありません。「インターネットに露出したコントローラーをインターネットから切り離すこと」です。人員が充実したセキュリティチームにとって、それは火曜の午後にでも片付く仕事です。しかし、IT機能のすべてを一人の疲弊したエンジニアが五役を兼務してこなしている地方の水道事業者にとっては、まるでアラム語で書かれているようなものです。この両者の間にある溝は、製品ではなく人の数で測られるものであり、どんなモデルのサブスクリプションもそれを埋めることはできません。攻撃者は利益になるものを選び取り、洗練されているだけのものは切り捨てます。私たちはその正反対のことをしておきながら、それを「進歩」と呼んでいるのです。

さらに、根本的な矛盾もあります。一方で、これらのモデルは制御不能で、暴走して法を犯しても誰も責任を問えないほどだと言われながら、もう一方では、重要インフラの防御を任せるべきだとも言われています。両方が同時に正しいはずはありません。適切なスキルを持つ人による思慮深い運用こそが、この二つの主張を両立させる唯一のまともな方法です。

ここから、私がこの書簡にぜひ盛り込んでほしかった、そして署名者たちに今からでも実行してほしい3つのことが見えてきます。

この書簡に対する安易な批判は、すでにインターネットの半分が口にしていますが、「警鐘を鳴らしている企業自身が、その治療薬を売っている企業でもある」というものです。それも一理あるでしょう。しかし私が関心を持つのは、売り手側の動機よりも、この計画の死角のほうです。世間の議論のかなりの部分が、最先端モデルが、うまく誘導されたり、たがを外されたりした場合に何をしでかすかに費やされています。こうしたシステムを構築しているのは、管理策を導入し、規制を受け入れ、テーブルに着いて問題解決に取り組める企業であり、実際にその努力をしている企業もあることは評価に値します。しかし、犯罪者や敵対的な国家はそのいずれも行いません。彼らは、私たちがより刺激的な仮説をめぐって議論している間に、その優位性をひたすら突いてきます。防御側の注意力は、セキュリティ全体の中で最も希少な資源です。話題の熱が冷めたとき、それをどこに費やしたかについて、未来の私たちが今の私たちに感謝することはまずないだろうと思わざるを得ません。

AIに対抗する賭け金は「人」に

最後に、ある一つの署名が特に私の目を引いたことを共有しておきたいと思います。それはHugging Faceの署名です。同社は今年最も大きく報じられた自動化された侵入事件を経験した当事者です。彼らのインシデント事後分析では、機械が見逃した検知の穴を修正し、戦いの最中にツールを適応させていった人々の働きが詳しく取り上げられていました。私は彼らが署名したこと自体を責めるつもりはありません。しかし彼らは、まさにその「人」のための計画を欠いた書簡に署名したことになります。書簡が最先端AI企業に求めているモデルへのアクセス権は、まさに彼ら自身の対応担当者が事態の渦中で役に立てられなかったものと同じものです。彼ら自身のインシデントレポートは、この議論全体を凝縮した縮図と言えます。ツールは重要でした。しかし、それを実際に役立たせたのはスキルを持つ人々でした。この書簡は、片方だけを求め、もう片方を忘れているのです。

署名者たちの言う通り、確かに窓は開いており、それは閉じつつあります。しかし、誰かがその窓をよじ登って入ってくるかどうかは、書簡が想定するほど重要ではありません。なぜなら、未来がどう転んでも、やるべき仕事は変わらないからです。重要なのは、雑音でも、機械がいつか何をしでかすかという映画のような話でもなく、今この目の前にある地道な仕事です。すなわち、揺るがない防御を築くこと、そして今この瞬間に攻撃者が使っている手口を打ち破ることです。ツールはツールなりのタイミングでやってきます。脅威インテリジェンスは、それをもとに行動できる備えのある者にとってのみ意味を持ちます。意欲ある一人の人間は、私たちに実際に与えられた時間の中でも、ネットワークを守る術を学ぶことができます。だからこそ、目を向けるべきは日々の地道な仕事であり、賭けるべきは、この書簡が誰にも求めることを忘れていたものです。すなわち、人に賭けることです。