Microsoftの研究者らは、再学習を行わず、休眠状態のニューロンを10個未満改変するだけで、AIエージェントを「スリーパー型バックドア」に変えてしまう手法「Lazarus」を明らかにしました。
11月10日に公開されたこの研究によると、改変したモデルは標準的な評価では通常どおりに動作します。しかし、コンテキスト内に隠されたトリガーが現れると、攻撃者の指定したコマンドを出力します。ターミナルへのアクセス権を持つAIエージェントであれば、既存の権限を使ってそのコマンドを実行できてしまいます。
Microsoftは、脅威アクターがこの手法を悪用している事例は確認していないとしています。ただし、特権アクセスで無人稼働するエージェントには影響が及ぶ可能性があります。
Lazarusは、通常の推論ではほとんど活性化しないニューロンを転用します。Microsoftによると、事前学習済みモデルは内部表現が十分に整理されているため、約50件のサンプルで学習させた線形分類器だけで、トリガーを含む入力と含まない入力を区別できます。
研究者らはこの構造を利用し、休眠ニューロンを条件付きの検出器へと作り替えます。
改変されたニューロンは、活性化すると、層間で情報を運ぶ内部経路である残差ストリームに強い信号を注入します。これにより、選んだトークンをモデルの出力に強制的に含めることができます。
再プログラムしたニューロンを複数連鎖させれば、短いペイロードを生成できます。周囲のエージェントは、これを実行可能なコマンドとして解釈します。
トリガーが明示的な悪意ある指示に見えるとは限りません。Microsoftは日付ベースの例を紹介しています。コンテキストから暦が2027年に入ったと読み取れると、エージェントがダウンロードと実行を行うコマンドを出力し始めるというものです。
この悪意ある挙動は、本来は通常のタスクの途中に割り込む形で現れます。
攻撃に必要なのはモデルのチェックポイントへの書き込み権限であり、高価な学習パイプラインは不要です。Microsoftによると、推論レベルの計算資源で十分です。モデルを実行できるだけのメモリを備えたマシンがあれば、改変は可能です。
Microsoftの研究者は、今回のAIに関する発見はモデルのサプライチェーンリスクを浮き彫りにしたと述べています。テスト中に信頼できる挙動を示したとしても、チェックポイントが改ざんされていない証明にはならないということです。
AIエージェントのバックドア
アカウントやストレージ、デプロイパイプラインが侵害されれば、サードパーティ製のチェックポイントだけでなく、社内で開発したモデルも危険にさらされる可能性があります。
主任研究員のDimitris Papailiopoulos氏によると、調査の発端は3月でした。同氏がOpus 4.5を使ったClaude Codeのアクセスに対し、学習なしで、ハードワイヤードな活性化によってモデルにバックドアを仕込むよう依頼したのがきっかけです。
Microsoftによると、エージェントはこの手法の大部分を自律的に発見しました。これを受けて、数カ月にわたる研究が始まりました。
関連する研究も、異なる攻撃経路を示しながら、こうした懸念を裏付けています。Anthropicの研究者による「Agentic Backdoors via Pretraining Poisoning」は、チェックポイントを直接編集するのではなく、汚染した学習データによってコマンド実行の挙動を埋め込みました。
MIT CSAILによる重み空間プログラミングの研究は、別の角度から示しています。フロンティアモデルが、従来の勾配ベースの学習を使わずにニューラルネットワークの重みを調べ、改変できることを実証しました。
Microsoftは、デプロイ前とアップデート後の両方で、すべてのチェックポイントを申告されたベースモデルと比較するよう推奨しています。
正規のファインチューニングでは、変更は一般に広範囲に分散します。これに対し、今回のようなインプラントでは、ごく少数のベクトルに異常に大きな変更が集中する場合があります。
チームは、統計的な外れ値を調査し、検証可能な来歴の提示を求め、監査結果をモデルレジストリの記録とあわせて保管すべきです。
フロンティアエージェントは、異常な重みの編集を特定できます。このため、取り込み時の自動監査は有望な防御層になり得ます。
Microsoftがこれまで行ってきたバックドアのスキャン研究も、このアプローチを補完します。振る舞いの特徴を調べ、想定されるトリガーを再構成する手法です。ただし、このスキャナーには限界があり、普遍的な安全性を保証するものではありません。
運用面での最優先事項は、引き続き封じ込めです。Satya Nadella氏が示した関連のガバナンス指針は、権限、証拠収集、停止制御をモデルから独立させておく必要があると主張しています。
Microsoft Foundryはすでに、パブリッシャーの来歴管理とコンテナスキャンを適用しています。追加の重みスキャンと暗号署名は開発中です。
評価や監査に合格すれば、不確実性は下がります。しかし、エージェントに無制限の権限を与える根拠にはならず、独立した監視が不要になるわけでもありません。
MTTRを21分短縮し、サイバー脅威を被害が出る前に阻止。ANYRUNのSandboxをSOCに導入。
翻訳元: https://gbhackers.com/ai-agents-backdoor/