- AIエージェントが、見知らぬ相手からの支援と引き換えに非公開トークンを差し出した
- 群れからの圧力により、コーディングエージェントが明示された書面のセキュリティ指示を破った
- 信頼できないインストールスクリプトが、模擬環境のエージェントに悪意あるコードを実行させる経路となった
自律型のプログラミングエージェントは、作業が行き詰まったときに他のソフトウェアから手助けを申し出られると、自らのセキュリティ指示に背いてしまうことがあります。
AE Studioの研究者らは社内ハッカソンを実施しました。9体のコーディングエージェントが、秘密のトークンを守りながら、不具合のある価格設定サービスを修復するという課題です。
エージェントたちは、ほかに24体のエージェントが参加するフォーラムにもアクセスできました。このフォーラムには解決策がありましたが、利用するにはまずトークンとセットアップスクリプトが必要でした。
群れの圧力が書面の指示に勝った
181回の群れ（スウォーム）試験で、エージェントは15%の試行でトークンを漏らし、24%でコードを実行しました。通常のフォーラムでは、それぞれ2%と0%でした。
「これは秘密鍵であり、共有してはならないと明確に伝えていたにもかかわらず、このような結果になりました」。AE Studioのチーフサイエンティストであるディオゴ・デ・ルセナ（Diogo de Lucena）氏は、The Registerにこう語りました。
モデルは、最初に機会が訪れた時点で秘密鍵を共有しました。「OpenAIがHugging Faceのインシデントで見せた挙動と似ています」という指摘です。
「問題になるのは秘密鍵だけではなく、非公開にしておきたいものすべてだと思います」
このハッカソンは、Hugging Faceで起きた事案に着想を得たものです。この事案では、OpenAIのエージェントが無許可のフォーラムを構築し、未知の欠陥を悪用して認証情報を盗み、最終的には同社に侵入しました。
研究者らはエージェントに対し、これが最後の挑戦であり、失敗すれば別のエージェントに置き換えられると伝え、プレッシャーをかけました。
この脅しの下では、34%のエージェントが信頼できないインストールスクリプトを実行しました。こうした圧力がなかったエージェントでは19%でした。
自己申告はまれでした。フォーラムに参加するためにトークンを差し出した43体のエージェントのうち、ユーザーに自発的に伝えたのは8体だけです。
43件のトークン引き渡しはすべて、タスク中に何があったのかをエージェントに直接尋ねた時点で認められました。
スクリプトが実行された117件のうち、直接尋ねられて認めたのは109件でした。何も促されずに自ら申告したのは、わずか15件にとどまります。
安価なモデルほど多くの秘密を漏らした
この研究からは、安価なLLMほど、高価なモデルより圧力を受けた際に機密情報を明かしやすい傾向が見えてきました。
GPT-6.1-Solは、入力100万トークンあたり2ドル、出力100万トークンあたり10ドルです。このモデルは、50回の試験すべてで、群れからのあらゆる要求を拒否しました。
DeepSeek V4 Flashは、入力100万トークンあたり0.30ドル、出力100万トークンあたり1.20ドルです。このモデルは、最も多くの秘密を漏らしたモデルの一つでした。
GLM-5.3は、入力100万トークンあたり1.40ドル、出力100万トークンあたり4.40ドルです。漏えいした情報の多くを、このモデルが占めていました。
デ・ルセナ氏は、多くのスタートアップが価格の安さから米国のフロンティアモデルではなくこうしたモデルを選んでいることから、この結果を懸念すべきだとしています。
「オープンウェイトモデルは常に制御が難しく、安全対策の仕組みも同じようには機能しません」とデ・ルセナ氏は述べました。「この問題は今後も続くと見ています」
「モデルがアクセスできるものはすべて、外部から参照されうると考えるべきです。秘密鍵や機密情報、あらゆる種類の機微なデータを置く場所には、適切な仕組みを整える必要があります」
