Microsoftの研究者らは、AIモデルにわずかな改変を加えるだけで、隠れたバックドアを埋め込めることを実証しました。特定のトリガーが現れると、エージェントが攻撃者のコマンドを実行してしまいます。「Lazarus」と呼ばれるこの手法はモデルの再学習を必要とせず、標準的な安全性評価の間はエージェントが通常どおりに振る舞います。
同社は、攻撃者がこの手法を悪用している事例は確認していないとしています。ただし、ターミナルやファイル、業務システムへのアクセスをAIエージェントに与えている組織にとって、今回の研究はセキュリティ上の懸念を浮き彫りにするとしています。
わずかな改変で隠れた挙動を実現
研究者らは、モデルの中でほとんど活性化しない構成要素である「休眠ニューロン」を10個未満改変するだけで、バックドアを埋め込めることを示しました。これらのニューロンをトリガーの検出に転用し、モデルに攻撃者のコマンドを出力させる仕組みです。

Lazarus:重み空間のプログラミングによるバックドア(出典:Microsoft)
ある例では、日付の変更をきっかけに、定型タスクの実行中にバックドアが作動しました。エージェントは、すでに保持している権限を使って、攻撃者が用意したコードをダウンロードし、実行するよう仕向けられました。
この攻撃には、モデルが保存している内部パラメーター(重み)を書き換える能力が必要です。Microsoftは、アカウントや開発パイプライン、ストレージシステムが侵害されれば、そうしたアクセスが可能になると指摘しています。そのため、サードパーティ製モデルだけでなく、社内で開発したモデルも危険にさらされます。
通常のテストではバックドアを見逃す恐れ
改変されたモデルは、トリガーが現れるまでは期待どおりに動作します。そのため、評価の間は悪意ある挙動が隠れたままになる可能性があります。Microsoftは、隠れたトリガーを見つけ出すためのテストを追加することや、高度なAIエージェントを使ってモデルの重みを監査することを推奨しています。
研究者らは、こうしたエージェントが異常な重みの改変を特定できることを確認しました。ただし、確実に検出するには、改変されていない元の重みとの比較が欠かせません。このため、モデルの出所(プロビナンス)が重要になります。
Microsoftのプリンシパル・リサーチャーであるDimitris Papailiopoulos氏は、次のように説明しています。
「朗報は、こうした改変は見つけられるということです。フロンティア級のエージェントに調べさせれば、異常な重みの改変を発見できます。ただし、どんなスキャンでも、モデルが安全であると完全に証明することはできません。確実に検出するには、改変されていない元の重みとの差分を取る必要があります。そのため、出所が非常に重要です。つまり、モデルがどこから来たのか、開発者から展開までの間に改変されていないかを把握しておくことが求められます」
エージェントが与えられる被害を限定する
Microsoft Threat Intelligenceは、展開前と更新のたびに、すべてのチェックポイントを、それが基にしたと宣言されているベースモデルと比較することを推奨しています。正当なファインチューニングでは重みが広範囲に変化します。これに対し、埋め込まれたニューロンでは、少数の重みベクトルに大きな変更が集中する傾向があります。
ガイダンスではこのほか、エージェントには必要な権限だけを与えること、エージェントが生成したコードは隔離されたサンドボックスで実行すること、外向きのネットワーク通信を制限することも求めています。さらに、コマンドの実行や権限の変更など影響の大きいツール呼び出しには、人間の承認を必須とするよう促しています。
翻訳元: https://www.helpnetsecurity.com/2026/11/11/microsoft-hidden-ai-backdoors-lazarus/