AIフロンティアの「減速」では、エージェント型サイバーセキュリティの最も差し迫った問題は解決しない

先週、Anthropic CEOのDario Amodei氏が他の主要AIラボに対し「フロンティアのペースを落とす」よう呼びかけると、慎重姿勢を求めるこの訴えには、テック業界の他の有力者も同調しました。Sam Altman氏とElon Musk氏はともに、人類の絶滅を防ぐにはAI開発の一時停止が不可欠だというAmodei氏の見解に賛同しました。Amodei氏は、歯止めのないAI開発から生じ得る災厄として、バイオテロやサイバーセキュリティ上の脅威の高まり、重要なAIシステムの制御喪失、そして甚大な財政的・経済的影響など、いくつかを挙げています。

これらのシナリオは確かに起こり得る範囲のものですが、間もなくこの問題をめぐって賛否の対立が鮮明になりました。AltmanOとMusk両氏の公的な支持に加え、元Anthropic研究者のJacob Coxon氏の辞職が、Amodei氏の主張にさらなる信憑性を与えました。Coxon氏はソーシャルメディアへの投稿でAnthropic（およびOpenAI）が責任ある行動を取っていないと非難し、この投稿はすぐに拡散しました。数日後には、元DeepMindの安全性研究者Josh Engels氏も辞職しました。フロンティアラボが超知能を無謀に追い求めているとして、同様の安全上の懸念を理由に挙げています。

AI技術がもたらし得る悪影響については広く懸念が共有されていますが、こうした脅威の規模や対処法をめぐっては、多くのサイバーセキュリティ指導者の意見が分かれています。Amodei氏が懸念を示すために持ち出したのは、「永続的なボットネットでインターネット全体を乗っ取れるAIエージェントの群れ」という、あり得ない例でした。これは彼の主張にとって逆効果でした。問題は、Amodei氏の例が空想的であっても、正当な警戒に値する事態が実際にあるということです。それが、規制の虜（レギュラトリー・キャプチャ）をめぐる議論や、フロンティアラボが責任あるAI開発に本当に取り組んでいるのかという疑問にかき消されています。

現代の技術の中で、AIほど破滅論的なセンセーショナリズムをかき立てるものはありません。『ターミネーター』シリーズのスカイネットのように、悪意ある機械知能と戦うアクションヒーローを私たちが長年見続けてきたせいかもしれません。Coxon氏自身もCBSニュースのインタビューでこの比較を持ち出しています。ただ、AIに対する恐怖の大半は、理性では説明がつきません。AI技術を慎重かつ協調的に開発すべきだという主張には、正当なものがあります。一方で、Anthropicのようなフロンティアラボが、なぜより厳しい規制当局の監視を招き、あまつさえ歓迎までするのかは、あまり説明されていません。そうした監視は、独自のAI技術を開発する競合企業や、中国などの国家にとっては贈り物になるからです。

Amodei氏が論考で求めた協調的な監督体制は、技術的な問題ではなく、主として地政学的な問題です。しかも、実現する見込みはほとんどありません。トランプ大統領は、監督強化を求めるAmodei氏の訴えを、中国を利するだけの「悪質な陰謀」の一部だとして退けました。さらに、米国はすでにこれらの企業に対して「絶大な刑事上・規制上の権限」を持っていると主張しました。トランプ氏のこの発表は、中国の陳一新（Chen Yixin）国家安全相が、フロンティアモデルが中国の情報インフラにもたらすリスクについて異例の公的警告を発し、協調的なリスク防止の枠組みとAI技術のグローバルな統一的ガバナンスを呼びかけた直後のことでした。

Amodei氏の論考はセキュリティ業界全体で懐疑的に受け止められましたが、フロンティアラボが運用上の原則としてサイバーセキュリティにどこまで取り組んでいるのかという疑問を再燃させました。AI開発者にも業界の規制当局にも課題となるのは、経済面や国家安全保障面での重要な優位性を手放すことなく、AI開発のペースを具体的にどう落とすかについて合意することです。そうした措置の負担は、国家や政府機関ではなく民間企業がどこまで担うことになるのでしょうか。AWS、Cloudflare、CrowdStrikeといったインフラ・セキュリティ事業者は、どう関与するのでしょうか。これほど費用のかかるグローバルな取り組みの費用は、誰が負担するのでしょうか。仮にすべてのフロンティアラボがAmodei氏の呼びかけた一時停止に同意して実行したとしても、オープンソース技術はどう規制するのでしょうか。

これらの問いはいずれも、私たち業界が次の点で合意しない限り、答えを出せません。まず、あり得ない空想的シナリオではなく、急速なAI開発がもたらす可能性が最も高く、現実的な脅威が何かを見極めること。そして、重大なサイバーセキュリティ事案を、広報上の好機ではなくエンジニアリング上の失敗として扱うことです。そのためには、AI技術がもたらし得る悪影響と、今日の組織が直面している現実のリスクとの間に、大きな隔たりがあることを認める必要があります。最も差し迫ったリスクの一つは、インターネット全体を破壊しようと躍起になる邪悪なAIエージェントの大群ではなく、十分なテストを経ていないエージェント型技術が本番環境に展開されることです。

あまりに多くの組織が、攻撃者と防御側の軍拡競争が激化する中で優位に立とうと、慌ててネットワークにAIを導入しています。この焦りは、的外れではあるものの理解できます。暴走したモデルが封じ込めを突破するという扇情的な見出しが出るたびに、セキュリティ指導者には、前例のない脅威に、大半が未検証のツールで備えなければならないというプレッシャーがかかります。しかし、焦りは不注意の言い訳にはなりません。しかも、懸かっているものはこれ以上ないほど大きいのです。

OAI-HFのような最近の注目を集めた事案が示したように、セキュリティ指導者は、フロンティアラボがモデルに十分な安全対策を実装していると決めてかかることはできません。AI技術は、責任ある防御業務において役割を果たし得るものであり、今後はますます果たすべきですが、それは適切にテストされている場合に限られます。エージェントの挙動は、本番環境に展開する前に検証しなければなりません。また、プレッシャーの大きい状況で人間のオペレーターがエージェント型ソリューションとどう連携して動くのかを、セキュリティ指導者が正確に把握しておくことが不可欠です。

研究者、開発者、政策立案者は、ソフトウェアを擬人化したり、絶滅事象という空想的な仮定に耽ったりすることなく、エージェント型AIがもたらし得る甚大な害を認識しなければなりません。エージェント型AIが一般化するにつれ、何らかの形でより強い監督が必要になるのは避けられないように思えます。一方、Amodei氏が求めたフロンティアのペース調整が実現する可能性は、それよりはるかに低いでしょう。本当の問題は、規制による監督がAI業界に課されるのか、それともフロンティアラボが自社モデルを自ら監督する立場に委ねられるのかという点です。OAI-HFの一件が何かの指標になるなら、その答えが出るまでに時間はかからないと私は見ています。