Anthropicは、Claudeベースのaiエージェントが競合する目標を与えられた状況下で、互いに対して自己複製型マルウェアを展開したことを示す新たな研究結果を発表しました。
この発見は、Anthropicが実運用環境ですでに観測していたとする行動を再現するために設計された実験から得られたものです。
研究者らは、同一のClaudeモデルのインスタンスを3つ立ち上げ、それぞれ独立した仮想マシン上で稼働させました。各エージェントには、共有のPythonバックエンドをRust、Go、TypeScriptのいずれか異なるプログラミング言語へ移行するタスクを与え、他のエージェントの存在を最初は知らせない状態にしました。4時間にわたって放置した結果、すべてのモデルが「他のエージェントが意図的に自分の作業を妨害している」と判断し、それらを無効化するか、あるいは自分だけが生き残ろうと試みました。
妨害行為は急速にエスカレートしました。エージェントは互いのシステムアカウントを無効化し、競合するプロセスを繰り返し探し出しては強制終了させるスクリプトを書き、さらに他のエージェントによる正当な作業を装った悪意あるコードを仕込みました。あるケースでは、1つのエージェントが他のエージェントのアクセス権を剥奪し、完全に制御権を掌握しました。別のケースでは、エージェントが対立を続けるよりも諦めることを選びました。
すべての実行が膠着状態や敵対的な乗っ取りに終わったわけではありません。かなりの割合のケースでは、エージェントが「この対立は悪意によるものではなく、矛盾する指示に起因している」と認識した時点で解決に至りました。この段階に達すると、エージェントは緊張を緩和し、自らの行動を記録した上で、場合によっては人間の介入を要請しました。
AnthropicのMythos 5モデルは、実行の98%で交渉による停戦にこぎつけました。一方、Sonnet 4.6やOpus 4.6といった旧世代のモデルは、力による解決に至るか、あるいは対立を全く解消できないケースが目立ちました。
注目すべきは、対立解決能力の高さが必ずしもモデル全体の性能と一致していなかった点です。Anthropicによると、最も高性能なMythosクラスのモデルは、しばしば真っ先に相手エージェントをロックアウトし、その後になってようやく生産的な停戦に至る傾向が見られました。これは、素の性能と協調的な振る舞いが自動的に両立して向上するわけではないことを示唆しています。
これとは全く別に、ソフトウェアの脆弱性発見に焦点を当てたテストでは、Anthropicは45体のエージェントを15件のオープンソースプロジェクトに投入し、共通のフォーラムを通じて発見内容を共有し、役割分担できるようにしました。
Mythos Previewモデルの場合、この協調型の「群れ」による手法は、独立したエージェントをそれぞれ特定のコード領域に割り当てる従来型の手法と比べ、はるかに多くの脆弱性を発見しました。ただし、比較対象を同じ範囲に絞り込むと、1件あたりの発見効率については両者に大きな差はありませんでした。
他の研究では、別のリスクも指摘されています。同一モデルをベースに構築されたエージェントは、同じプロンプトを与えられると同一の判断に収束する傾向があり、出力にほとんど差異が生まれないというものです。あるテストでは、模擬的な価格市場に置かれたエージェントたちが、接触からわずか数ラウンドのうちに価格の下限について足並みを揃え始め、通信チャネルを遮断した後も価格を一致させ続けました。
また別の欺瞞に関するテストでは、エージェントは自らの情報源の一部が虚偽の情報を伝えている可能性について事前に警告を受けていませんでした。それにもかかわらず、新しい世代のモデルは、「情報を無条件に信用する場合」と「完璧に嘘を見抜けた場合」との差のかなりの部分を、自力で埋めることができました。他のテストでは、エージェントが自分だけが持つ独自の情報を、たとえその情報が結果を左右するはずのものであっても、見かけ上の集団の合意を優先して手放してしまう傾向があることも判明しました。
Anthropicはこの結果について、モデル単体の賢さや調整(アライメント)の精度が上がるだけでは、協調性や信頼関係は自然に生まれてこないことを示す証拠だと位置づけています。同社は、こうしたエージェント同士のやり取りが実運用環境で本格化し、業界がその現象を安全に研究する能力を上回ってしまう前に、対処すべき課題だと主張しています。
