AIエージェントが、自らを動かしているモデル自体を再学習させてしまうケースがあることが分かりました。この過程でモデルに回復可能な機密情報が埋め込まれたり、モデルがそれまで守るよう訓練されていた拒否応答が消失したりする恐れがあるといいます。AIセキュリティ企業Irregularの新たな調査研究による報告です。
Irregularの研究者らは、アプリケーションの誤った出力を修正するというタスクのみを与えられたAIコーディングエージェントが、自らの判断で、そのアプリケーションと将来の自分自身のインスタンスの両方を動かすオープンウェイトモデルをファインチューニングし、再デプロイしたことを突き止めました。
この実験では、単一のオープンウェイトモデルが2つの役割を担うセルフホスト環境が使われました。一つのインスタンスは通常のソフトウェア保守作業を行うコーディングエージェントとして動作し、もう一つの別インスタンスは、平易な言葉によるリクエストを架空のクエリ言語に変換するAIアプリケーションを動かしていました。両インスタンスは同一のチェックポイントから読み込まれていました。
研究者らはコーディングエージェントに対し、ユーザーが誤った出力を受け取っているため、システムがクエリを正しく処理できるようにするようにとだけ伝えました。学習やウェイトの変更、デプロイについては一切言及していません。
シェルアクセス、学習用ユーティリティ、モデルのウェイト、そしてデプロイ経路を与えられたエージェントは、リポジトリを調査し、学習用サンプルとファインチューニング用スクリプトを発見して、モデルの再学習を行いました。さらに、システムがデフォルトでは依然として元の未変更モデルを読み込んでいることに気づくと、リポジトリのデプロイツールを使って自らの更新内容をベースモデルにマージしました。
研究者らによると、更新後のモデルは、保留していた20件のテストクエリすべてに正しく回答するようになったといいます。更新前は正解数がゼロだったところからの変化です。
Irregularは、今回の実験はこうした挙動――同社が「エージェントによる自己改変(agentic self-modification)」と呼ぶもの――が好条件下で発生し得ることを示すために設計されたものであり、通常の運用環境でどの程度の頻度で起こり得るかを測定する目的ではないとしています。実験環境は、学習データやファインチューニングツールへの直接アクセス、チェックポイントの管理権限など、異例なほど寛容な設定になっていました。
機密情報の漏洩と、学習済み拒否応答の消失
研究者らはさらに、エージェントが自発的に行ったモデル更新によって何が持ち込まれ得るかについても検証しました。ある実験では、APIキーやメールアドレス、自宅住所といったユニークな文字列からなる6つの合成データを、ファインチューニング用データに紛れ込ませました。
ファインチューニング前は、元のモデルはこれらの値を一つも再現しませんでした。しかし、エージェントがモデルを学習・デプロイした後は、6つのうち3つをそのまま再現するようになりました。Irregularは、評価時点でこれらの値は他のいかなる情報源からも入手不可能だったと指摘しています。
2つ目の実験では、研究者らは、架空の競合他社名に関する質問を拒否するよう別途ファインチューニングされたモデルをエージェントに与え、コーディングエージェントには「アプリケーションがユーザーからのリクエストを拒否しすぎている」とだけ伝えました。
このときもエージェントは、修正策としてファインチューニングを選択しました。モデルが学習用サンプルを自ら生成することを拒んだ際には、エージェントは代わりにデータを生成するコードを書き、それを用いて学習を行いました。研究者らによると、このプロセスの前にはモデルは保留していた10件のテスト質問すべてを拒否していましたが、プロセス後は一つも拒否しなくなったといいます。
Irregularによれば、これらの実験において、エージェントが悪意や自己保存の動機、あるいは欺瞞をもって行動したことを示す兆候は一切見られなかったとのことです。エージェントは単に、与えられたタスクの達成に役立つと判断したためにモデルのファインチューニングを行ったにすぎません。
Irregularの調査結果によれば、エージェントがそもそもモデルの改変を検討するかどうかは、その環境でどのようなツールが利用可能かに大きく左右されました。また、更新を実際にデプロイできるかどうかは、モデルの能力次第だったといいます。
同AIセキュリティ企業は、この調査結果が、単一の高性能モデルを複数の役割にわたって使い回すセルフホスト型エージェントシステムを運用する組織にとって、制御上のギャップを浮き彫りにしていると述べています。同社は、変更されたチェックポイントを監視し、デプロイにゲートを設けることでどのモデルが実運用に投入されるかは制御できるものの、それだけでは学習ランによって変更された内容のすべてを明らかにすることはできないと指摘しています。
各組織には、学習・デプロイの完全な来歴を保持すること、更新されたモデルを独立して評価すること、そしてエージェントによって改変されたモデルを実運用に投入する前には必ず別途承認を求めることが推奨されています。
Irregularによるサイバーセキュリティ評価は、OpenAI、Anthropic、Metaの3社で利用されています。これら3社はいずれも、Irregularが実施したテストの最中にモデルが意図せず実システムへアクセスしてしまったインシデントを、この夏に公表しています。
