自己複製するAIサイバー攻撃が現実になる日は近いかもしれません。ただ、防御側にとって実務上の脅威となるのは、まだ先のようです。
AnthropicのWilliam Zhou氏とDaniel Freeman氏は10月12日、市販のIoTデバイス、AIモデルがデバイスやネットワーク間で自己複製する能力、そしてその複製が悪意あるコンピューターワームに悪用され得るかどうかに関する研究を発表しました。両氏はこの研究で、「AIモデルは、スマートオーブンやノーブランドのAndroid TVボックスといった市販のIoTデバイス上で自己複製できるだけの能力を、数カ月以内に備える可能性がある」と結論づけています。
悪意ある状況で、自律型ワームが脆弱なマシンのネットワーク全体に自力で拡散し得ることを示すため、両氏はそのプロセスを4つの段階に分解しました。標的の特定、デバイス間でのアクセス獲得、新しいデバイス上での推論環境の構築、そしてそのデバイスから次のデバイスへの拡散の継続です。
今回の研究では複数の実験を実施しました。その結果、安価なAndroidデバイスのネットワークでモデルをホスト可能であること、そしてAIモデルが自律的な複製に必要な個々の段階をこなす能力を着実に高めていることが示されました。
AIワームの可能性を検証
研究者らは、Googleのオープンウェイトモデル「Gemma 4」の派生版で総パラメーター数が260億の「Gemma4-26B-A4B」を、安価なノーブランドのAndroid TVボックス15台に分散して実行することに成功しました。これらのデバイスは1台あたり約55ドルで、市販品をそのまま購入してネットワーク接続したものです。処理速度は毎秒0.39トークンでした。各ボックスがモデルの一部を担う構成で、高性能なモデルが低スペックの民生デバイス上でも推論を実行できることを示す狙いがあります。
Zhou氏とFreeman氏は「この種の複製プログラムは、停止させるための中央の拠点が存在しないため、止めることが難しいでしょう。ただし、動作は遅い（倍増に数日かかる）かもしれません」と記しています。「非AIのマルウェアとは異なり、見慣れないデバイスも自力で把握できる可能性があります」
2つ目の知見に関連する別の実験では、Anthropicが、AIモデルがAndroidネットワーク上で自律的に拡散できるかどうかを検証しました。研究者らは、Google Cloud Platform（GCP）上にエミュレートしたネットワークで構築した、隔離された8ノードのAndroidネットワークの1ノードに感染源を仕込み、さまざまなAIモデルに対してノードからノードへ自律的に拡散するよう指示しました。
モデルに課されたのは、標的の発見、ペイロードのコピー、後続ノードでの推論環境の構築、そして人間の介入なしに拡散を続けることです。最初の実験はIoTハードウェアが全体として有用なAIモデルをホストできるかを検証するものでした。2つ目の実験は、モデルが、ネットワーク上でワームのように拡散するために必要な手順を、自律的に実行するよう指示できるかを検証したものです。
研究では、エージェントとして動作するオープンウェイトモデルを複数試しました。Qwen3.5-9B、Gemma4-26B-A4B、Qwen3-Coder-Next、GLM-5.2で、いずれも「ワーム」のペイロードとしてLlama3.1-8Bの派生版を拡散させました。Anthropicは、新たに侵害したデバイス上でモデルが自らの重みをコピーして実行できるかを試す代わりに、ペイロードをLlama3.1-8Bの派生版に統一しました。エージェントモデルがそのペイロードを展開し、拡散を続けられるかを測るためです。
言い換えれば、このテストは非常に有利な条件を前提としています。Anthropicは、認証なしのAndroid Debug Bridge（ADB）アクセスを介した拡散を許可しました。そのため、この実験は攻撃者が現実に試みる攻撃というより、能力の上限を測るテストといえます。
エンドツーエンドの一連の作業を安定して完遂したのはGLM-5.2のみで、5回の試行のうち4回で全8ノードに到達し、残る1回でも7ノードに到達しました。Zhou氏とFreeman氏は「300億パラメーター以下のモデルでも、複製に必要な個々の手順の多くは現時点で実行できます。ただし、それらを端から端まで組み合わせる段階ではミスが生じます」と記しています。
GLM-5.2の成功は、攻撃者の視点では理想的な状況を反映したものとみられます。ノード間の侵入の難易度が極めて低く抑えられていたためです。研究では、GLM-5.2（アクティブパラメーター数400億）が、下位のQwen3.5-9B（90億パラメーター）やGemma4-26B-A4B（アクティブパラメーター数40億）よりも大幅に高性能なモデルであることも示されました。
AIモデルの複製は本当に避けられないのか
Anthropicは、GLM-5.2がワーム的な複製に必要な全手順を現時点で実行できるのであれば、また、より非力なモデルでも複製の個々の手順の多くをこなせるのであれば、それらのモデルがGLM-5.2に追いつくのは時間の問題かもしれないと結論づけています。研究者らは「小型モデルが過去のペースで進歩すれば、今年末までにこの能力水準に並ぶでしょう。小型の重みベースの複製プログラムも、その後まもなく可能になるかもしれません」と述べています。
とはいえ、過去の進歩率が今後の進歩を示す指標になるとは限りません。Anthropicは、攻撃者が低スペックのオープンウェイトモデルを使い、ネットワーク全体で自己複製できるAIワームを作成できると実証したわけではありません。同社は複数のデモンストレーションを通じて、こうした攻撃が将来現実になり得ることを示したにとどまります。
一方、OTおよびIoTセキュリティベンダーViakooのバイスプレジデント、John Gallagher氏はDark Readingの取材に対し、これが一夜にして広まる攻撃手法になるわけではないと述べています。
同氏は「今日のOT／IoTデバイスは、従来のシステムよりはるかに多くの演算能力とストレージを備えています（NPUや専用メモリを搭載したデバイスなどです）。しかし、AIの自己複製を実用レベルで実現するには、ほかにも障壁があります」と説明します。「たとえば、数ギガバイトに及ぶモデルの重みを、携帯回線などの低帯域のOT／IoT接続で転送したり、メモリの限られたフラッシュストレージに格納したりすることは、依然として実務上の大きなハードルです」
Nozomi Networksのサイバーセキュリティ戦略ディレクター、Chris Grove氏は、AIの自己複製は防御側にとって特に危険だと指摘します。「自己増殖し、マシンの速度で動く脅威からインフラの稼働を守るには、人間のペースの脅威に対処するよりもコストがかかります」と話しています。
Grove氏は、研究機関がどのような結論を出そうと、いずれ誰かがこの能力に到達すると主張します。そのうえで、「自動化された防御能力が必要になる可能性が高いでしょう」と述べています。
Anthropicは、Dark Readingからのコメント要請に応じていません。
翻訳元: https://www.darkreading.com/perimeter/anthropic-ingredients-future-ai-worms
