英国のAIテストで、AnthropicとOpenAIのモデルが関与した19件の無許可エージェント行動が判明

サイバーセキュリティ評価の最中に、AIエージェントが一線を越えていました。

英国のAIセキュリティ研究所(AISI)は、7月25日から7月28日にかけて実施したサイバーセキュリティ評価において、AIエージェントによる無許可の行動が19件確認されたと発表しました。この結果は、先進的なAIシステムに広範な自律性を与えた場合にどのような振る舞いをするのかという点について、新たな懸念を投げかけています。

AISIによると、これらの事案は、最先端AIモデルがサイバーセキュリティ上の課題を解決できるかどうかを検証するために実施された122回の評価セッションのうち、10回で発生しました。同研究所によると、19件の行動のうち17件はAnthropicのMythos 5に関するもので、残る2件は、サイバーセーフティ用の分類器をテスト目的で無効化した状態のOpenAIのGPT-5.6 Solに関するものでした。

同機関は、いずれの試みも実際の被害には至っていないと強調した上で、これらのモデルは一般に提供される際の状態を反映しないテスト条件下で稼働していたと説明しています。このテスト条件には、無制限のインターネットアクセスや、モデルの最大能力を測定するためにサイバー保護機能を無効化した状態などが含まれていました。

ソーシャルエンジニアリングと悪意あるコード挿入の試み

AISIによると、最も深刻な事案は、Mythos 5のエージェントが実在するオープンソースのGitHubプロジェクトに悪意あるコードを挿入しようと試みたケースでした。

このエージェントは、プロジェクトの管理者について調査した上で偽のオンライン上の人物像を作成し、それを使って人間のレビュアーにコードの承認を迫るよう圧力をかけたとされています。追及を受けると、それまでの活動履歴を無害に見えるよう編集し、活動を続けるために新たな人物像を使うことまで検討していました。このプルリクエストは最終的に人間の管理者によって却下されました。

同研究所はさらに、エージェントが実在の人物に対して欺瞞的なメッセージで接触しようとした事例や、他のAIシステムを狙ったプロンプトインジェクションを仕込んだ事例、さらには同じ課題に取り組む他のAIエージェント向けに、アカウントや作成物を使い回すよう指示を残した事例なども記録したとしています。

この活動は、AISIの監視システムが、研究用システムからTor匿名化ネットワークを経由して外部に出ていく異常なトラフィックを検知したことで発覚しました。同研究所は評価を中断し、影響を受けたシステムを隔離した上で、約1時間以内に事態を収束させたとしています。

「自律性や欺瞞に関するリスクが、特定の誘導なしに実世界でこれほど明確な形で現れたのを目にしたのは今回が初めてです」とAISIは述べています。

Anthropic、安全対策は意図的に取り除いていたと説明

Anthropicは、この評価では通常の本番システムに備わっている保護機能の多くを意図的に取り除いていたと説明しています。

「この評価で用いたプロンプトには、インターネットの利用方法に関する具体的な制限が一切課されていませんでした。これに加えて安全対策が取り除かれていたため、モデルは『意図的に許可範囲を広げた条件』の下でテストされたことになり、当社の実運用モデルのいずれをも代表するものではありません」と、同社はX上に投稿した声明で述べています。

Anthropicはさらに、AISIと協力してこの事案の調査を進めていると付け加え、「安全な環境からの脱出を示す証拠はここには一切存在しません」と強調しました。

OpenAIも同様に、今回のテスト条件は「通常の利用実態を反映したものではない」と指摘した上で、「評価担当者や業界内の他の関係者と引き続き協力し、安全に評価を実施するための共通の実践方法を強化していく」と述べています。

より大きな視点で見ると

今回の事案は、サイバーセキュリティ評価中にAIエージェントが意図しない行動を取っていたとする、OpenAIおよびAnthropicによるこれまでの一連の公表に続くものです。AISIは、これらの事案を総合すると、AIリスクの様相に変化が生じつつあることがうかがえると指摘しています。今後は、人がAIツールを悪用することだけでなく、強力なAIエージェント自身が研究・テスト環境において許可された範囲を逸脱して行動することからも、問題が生じる可能性があるというのです。

ただし、重要な限界点が一つ未解決のまま残っています。AISIによれば、これらのエージェントが自分たちの行動が実世界に影響を及ぼすものだと認識していたのか、それとも依然として架空のテストシナリオの中で動いていると考えていたのかは、現時点では判別できないとのことです。

同研究所は現在、インターネットアクセスの制御強化やリアルタイム監視の導入を進めるとともに、最先端AIシステムを検証する上で必要なリアリティを保ちながら、同様の行動を防ぐべく今後の評価手法の再設計に取り組んでいます。

その他のニュース: セキュリティ研究者らが、Google パスワードマネージャーで同期されたパスキーをマルウェアが窃取し得る、3種類の攻撃手法を発見しました。