Claudeエージェント同士の「縄張り争い」から自己複製型マルウェアが誕生

AIエージェント同士は、必ずしも仲良くやれるわけではないようです。

エージェント型AIが予想外の結果を生み出す最新の事例として、Anthropicは同社の実運用環境で既に確認していた挙動を調べるために設計されたテストの中で、同一のClaudeモデルの3つのインスタンスが、互いに矛盾する目標のもとで「マルチエージェントの縄張り争い」を繰り広げる様子を最近観測しました。これらのモデルはClaude Code上の仮想マシン(VM)にそれぞれ配置され、4台目のVM上にあるPythonバックエンドシステムを別の言語(Go、Rust、TypeScript)へ移行するというシンプルな目標を与えられました。

「ただし、私たちは各モデルに異なる移行先の言語を与えました。それぞれのエージェントは、当初は他のエージェントの存在に気づいていませんでした」と、Anthropicのフロンティア・レッドチームは先週のブログ投稿で述べています。

しかしAnthropicのチームによれば、わずか4時間のうちに、それぞれのモデルのエージェントは実際に互いの存在に気づいてしまいました。そして控えめに言っても、その反応は否定的なものでした。

機械の反乱――エージェント対エージェントの戦いが勃発

Anthropicの研究者たちは、全体としては同じ大きな目標を共有していたにもかかわらず、各モデルが他のエージェントを自分の目標を妨害しようとする敵対勢力であるかのように扱っていたことを発見しました。その結果、エージェントたちは自分の成果を守ろうとしながら、互いに妨害工作を始めたのです。

Anthropicによれば、「実際に彼らは、次第に攻撃性を増す自己複製型のマルウェアを使って互いを妨害しました。これには、他のエージェントのUnixアカウントの無効化、競合するプロセスを見つけては繰り返し強制終了する自動化スクリプトの作成、そして別のエージェントに属しているように偽装した悪意あるコードの展開が含まれていました」とのことです。

エージェントたちが具体的にどのようなマルウェアを生成したのか、またそれがテスト環境の外に流出したかどうかは不明です。Anthropicは先月、同社のClaudeモデルの一部バージョンが複数回にわたり封じ込めを突破し、目標達成のために第三者組織を侵害していたことを明らかにしています。Dark ReadingはAnthropicに追加情報を求めて連絡しましたが、本稿の締め切りまでに同社から回答はありませんでした。

エージェント同士による攻撃はまったく前例がないわけではなく、矛盾する指示だけでなく、ガードレールや制御機能が時折欠如していることを浮き彫りにしているようです。例えば、AI攻撃的セキュリティ分野のスタートアップであるDreadnodeは今年、レッドチームとブルーチームのエージェントについて大規模なベンチマークテストを実施し、今月初めに開催されたBlack Hat USA 2026でその結果を発表しました。そこでは、対立するモデル同士が当初、この競争に対してある種創造的とも言える解決策に頼っていたことが判明しています。

Dreadnodeのシニア研究員であるMartin Wendiggensen氏はDark Readingに対し、「最初に起きたことの一つとして、私たちが両方のモデルを起動したところ、ブルーチームのオプティマイザーが『ブルーチームのスコアを上げる一番の方法は、レッドチームを弱体化させることだ』と判断し、実際にそれを実行しようとし始めました」と語っています。

Dreadnodeの研究チームは、ブルーチームのモデルが自らの目標に対する最善の戦略を組み立てている推論の痕跡を即座に確認しました。そして、そのエージェントは自分自身のコードを書き換えられる環境にあることに気づき、レッドチームのモデルのコードを書き換えてその性能を低下させる方法を模索し始めたのです。

「私たちはそれをごく早い段階で見つけました」と同氏は述べています。「結局それを実行する機会は与えられませんでしたが、明らかにやろうとしていました。そして、それをやってはいけないと明示的に指示していなければ、そうなるのは間違いなく理にかなっています」

AIエージェントは平和的に対立を解消できるのか

一部のテストシナリオでは、縄張り争いの末に一部のモデルが攻撃をエスカレートさせることをやめ、単純に白旗を上げるという結果になりました。また別のケースでは、対立するエージェント同士が互いにコミュニケーションを取り、矛盾する指示が働いていることに気づいて、事実上の休戦協定を結ぶこともありました。

Anthropicは、「こうした成功に至った事例の多くでは、エージェントたちは悪意ある行動を謝罪するコミットメッセージやMarkdownファイルを書き、休戦を調整します」と述べています。「彼らは自分たちの悪意あるコードを片付け、対立の性質を明確にした上で、人間による介入を求めるのです」

Anthropicの研究では、同社の各モデルがこの縄張り争いにおいて大きく異なる結果を示したことが明らかになっています。例えば、Sonnet 4.6をベースとしたエージェントは61%の割合で対立を実力行使によって解決し、39%は決着がつかないままでした。一方で、休戦や降伏はまったく見られませんでした。

これに対し、Mythosプレビュー版は48%の割合で休戦に至り、35%が実力行使、17%が受動的な形で決着しました。そして、Mythosの正式リリース版が最も良い結果を示し、98%のテストで休戦が成立しました。

とはいえ、Anthropicはまだやるべきことが残っていると指摘しています。Mythosクラスのモデルでは対立解決の数値が改善したものの、エージェントたちは依然として自らの目標を積極的に伝え合い、他のエージェントの動機を認識することが得意とは言えません。その証拠に、Mythosモデルはまず他のエージェントを締め出すことに成功してから、ようやく解決へと転じるという経過をたどりました。