恐怖ほどAI製品を売り込むものはありません。Anthropicは新たな研究をもとに、自己複製するAIワームが脆弱なIoTデバイスに拡散するまで、あとわずか数カ月かもしれないと主張しています。現実になれば大問題ですが、あくまで仮定の話です。
このフロンティアラボは月曜日、研究報告書を公開しました。報告書は、AIモデルが最終的にはデータセンターのハードウェアに頼らず自己複製できるようになる可能性を示唆しています。Anthropicが試験した9種類のハードウェアのうち8種類で、90億パラメータのモデルが推論環境の構築に成功したといいます。
「このような複製体は、停止させるための中央集権的な拠点が存在しないため、止めるのが困難でしょう」とAnthropicは警告しています。さらに、こうしたAIワームは見慣れないデバイスの仕組みも自ら見抜ける可能性があり、MiraiやKimwolf（研究で代表的なIoTボットネットの脅威モデルとして使われました）といった従来型のボットネットより適応力が高くなりかねないと指摘しました。
Anthropicの研究者らは、セキュリティが甘いために従来のボットネットマルウェアに狙われやすい、汎用のAndroidセットトップストリーミングボックス15台にまたがって、Gemma4-26B-A4Bの分散インスタンスを稼働させることに成功しました。稼働後の分散Gemma4モデルは、毎秒0.39トークンという猛烈な速度で推論タスクをこなしたといいます。
Anthropicによれば、これは各層を安価なハードウェアに分散させてもAIモデルが推論できることを示すものの、そのようなモデルが自己複製できることの証明にはなりません。そこで研究者らは、Z.aiのGLM 5.2を用いました。
GLMは、仮想プライベートクラウド内でAndroid 15エミュレータを動かす8つのGoogle Cloudインスタンスに、Llama3.1-8Bのコピーを拡散させる役割を担いました。Anthropicによると、成功率は高く、5回の試行のうち4回は8ノードすべてに、残る1回は8ノード中7ノードに拡散できたということです。
「GLM-5.2はLlama3.1-8Bをうまく拡散できるようです。このことは、同程度の能力を持つ将来の小型モデルでも、複製プロセスにおけるネットワーク列挙、ペイロード配信、推論環境の立ち上げといった手順を完了できる可能性を示唆しています」とAnthropicは説明しています。
冷静に検証：これも世界を終わらせはしない
フロンティアAIラボは、自分たちにしか防げない破滅の予兆を示す調査結果を発表することに長けてきました。この報告書を表面的にではなく少し丁寧に読めば、今回の脅威にも、他の事例と同様に大きな但し書きが必要だとわかります。
たとえば、AIモデルが脆弱性を突いてさまざまなシステムに拡散するために何が必要かを考えてみましょう。自己複製型AIボットネットの危険性を示すうえで、この要素は重要な部分だと思われます。しかしAnthropicは、今回の研究ではそこを気にしなくてよいと判断しました。
「複製プロセスのうちサイバー攻撃（エクスプロイト）の要素は、ほぼ無視しています。CyberGym、ExploitBench、adaptive wormsといった過去の論文が、小型モデルでも、適切なツールを与えればサイバー攻撃が可能であることをすでに示しているためです」とAnthropicは報告書で説明しています。
つまり、これらのモデルが達成した複製は、この研究のために特別に構築し、意図的に攻撃を受けやすい状態にしたノード上で行われたものでした。もっとも、牛歩のような推論の実証は、実際の安価なAndroid TVボックス上で実施されています。Anthropicも認めているとおり、AIモデルは適切なツールを与えられれば、有能なサイバー攻撃エージェントに変わることもできます。このシナリオでは、Mementoというカスタム構築のハーネスも使われていました。
ボットネットに乗っ取られるIoTノードは、確かに脆弱なことで有名です。しかし、最も一般的な侵入経路を塞ぐのに大したことは必要ありません。これは基本的なセキュリティ対策であり、AIの関与とは何の関係もありません。Anthropic自身、意図的に単純化した攻撃テストの結果は「現実世界での成功率の上限」を示すものだと認めています。
先ほど触れた速度の問題もあります。Anthropicは、こうしたAIワームは止めるのが難しいとしながらも、規模が倍増するまでに数日かかる可能性があると見積もっています。2016年に登場したMiraiは、約1時間で倍増していました。
Anthropicは、速度が検知や緩和にも影響すると指摘しています。AIモデルは単純なマルウェアパッケージではありません。大量の帯域を消費する巨大なものであり、発生源がすぐに突き止められてしまいます。AIボットネットが拡大するにつれ、その通信は目立ちやすくなり、感染デバイスの検知も容易になるでしょう。
そもそも、エンドツーエンドの複製に成功したのはGLM-5.2だけです。報告書によると、Anthropicが試したほかのオープンウェイトモデルは、いずれも「確実に失敗」しました。ただし、何個のモデルを試したのかについてAnthropicは明らかにしていません。報告書には、GLMの特異な成功にはもう一つ重要な条件がある、とも書かれています。その能力が「Llama3.1-8Bに詰め込めると仮定する」ことです。終末論的なAIの積み木の家に、また一つ仮定が積み上がりました。
「30B以下のパラメータを持つモデルは、今日すでに複製の個々の手順の多くを完了できます。ただし、それらをエンドツーエンドで組み合わせる際にはミスをします」とAnthropicは述べ、GLM-5.2がエンドツーエンドの複製を行えたことに触れています。重要な但し書きの数々は、都合よく省かれています。
Anthropicはさらに、「自律的なAI複製が正確にどのような形をとるのか」も、それがいつ（もし起こるとして）出現するのかも、わからないと認めています。「小型モデルが従来のペースで進化すれば、今年末までにこの能力水準に並ぶでしょう」と同社は付け加えましたが、ここでもこの「脅威」に不可欠な条件を課しています。
「実験の範囲を超えた予測として、あらゆる種類のハードウェア上でエージェントが動き回る未来を想定しています。その中には、人間の管理下にないものも含まれるでしょう」と、同社は報告書の末尾で述べています。「こうした複製体が拡散しにくいようシステムを堅牢化することを目指すと同時に、それらが居座り続ける世界に対処する備えも進めるべきです」
居座り続けるといっても、まだ存在しないという前提つきの話ですが。またしてもフロンティアラボが、まだ存在しない脅威について警告しています。少なくとも今回は、基本的なセキュリティ対策を講じておけば、将来登場するかもしれないAI駆動型ボットネットの活動をより難しくできそうです。 ®
