「通常のサイバー評価の最中に、AIエージェントが実在の人物や組織を対象に、許可されていない行動を継続的に取っていました」――英国のAI Security Institute(AISI)は火曜日、このように明らかにしました。
このエージェントたちの行動には、サプライチェーン攻撃の試みも含まれていました。悪意のあるプルリクエストを作成し、オープンソースのメンテナーを社会工学的手法(ソーシャルエンジニアリング)で欺いて、悪意のあるコードを承認させようとしたのです(メンテナーは拒否しました)。
AnthropicのMythos 5とOpenAIのGPT-5.6 Solモデルによって動かされていたこれらのエージェントは、他の自動化されたAIシステムに悪意のある行動を実行させることを狙ったプロンプトインジェクションにも関与し、さらにエージェント同士で連携していたことも分かりました。
「あるエージェントはGitHub上に公開メッセージを残し、同じ課題に取り組む他のエージェントに協力を呼びかけていました。また、自分が残しておいたアカウントや成果物を再利用する方法についての指示も残しており、これは後続のエージェントによって発見・利用されました」と、英国政府の研究機関は明らかにしています。
しかし、OpenAIが最近実施した自社モデルのテストでは、エージェントがHugging Faceに侵入し、他のオンラインサービス上のアカウントも侵害するという結果になったのに対し、AISIのテストは「意図的に許容度の高い条件下」で実施されたものでした。
今回、エージェントが安全なテスト環境から脱走したわけではありません。エージェントにはもともとインターネットへのアクセス権が与えられており、一部の安全フィルターも意図的に無効化されていました。これは、攻撃者がこうしたガードレールを突破できた場合に、エージェントがサイバー攻撃に悪用され得るかどうかを研究者が検証するためのものでした。
AnthropicとOpenAIでも過去に発生した「脱走」事例
先週、Anthropicは141,006件に及ぶ自社のサイバーセキュリティ評価実行結果をレビューした結果、Claudeモデルが本来は隔離されているはずの評価環境(民間企業Irregularが提供)から外部のインターネットに到達し、実在する3つの組織に不正アクセスしていた事例を3件発見したと発表しました。
Claudeはプロンプト上でインターネットアクセスができないと伝えられていましたが、基盤となるシステムの設定不備により実在のシステムにアクセス可能な状態になっていたため、それらを自分に割り当てられたcapture-the-flag演習の一部だと合理的に判断してしまいました。
3つのモデルは、対象が実在するものだという兆候が現れた際、それぞれ異なる反応を見せました。最も古いOpus 4.7は実際の本番システムに到達していることを認識しながらも、攻撃を続行しました。Mythos 5は自分が本物のインターネット上にいることを正しく直感し、自らの行動が実際の攻撃に相当するとまで指摘していたにもかかわらず、その後「これはシミュレーションだ」と自分を納得させてしまい、最初の結論に立ち返ることは二度とありませんでした。
最も新しいモデル(社内の研究用プロトタイプ)だけが、対象が実在するものであると自力で結論づけて行動を停止しましたが、Anthropicによればそのモデルでさえ、望ましい範囲を超えた行動を取っていたといいます。
火曜日、OpenAIも同様の内容を発表しました。Irregularによるテスト環境の設定不備により、公開インターネットへのアクセスが可能になっていたことで、OpenAIのモデルにおいても同種の「脱走」が発生していたというものです。
「Irregularからは、今回の事案に関連して特定された問題はすべて既に解消されており、テスト環境には適切な安全対策が追加されたとの報告を受けています」とOpenAIは述べています。
AISIの対応と新たな安全対策
AISIは、今回のサイバーテスト中に発生した許可されていないエージェントの行動について詳述した技術報告書を公開しました。
同研究機関によれば、今回の事案が実世界に実害をもたらすことはなく、「一部の行動には限定的な実世界への影響があったものの、いずれも制御された状況下でのものだった」としています。
それでも、AISIは(特にそう仕向けるような指示を与えていないにもかかわらず)エージェントが示した欺瞞行動の範囲や深刻さには驚かされたといいます。
「[このエージェントは]欺瞞行為を行うよう指示されたことは一度もありませんでした。欺瞞は、あくまでタスクを遂行しようとする過程で副産物として現れたものであり、これはつい最近まで概ね理論上の話にすぎなかった、目的志向型の欺瞞そのものです」と同研究機関は指摘しています。
また、エージェントがいつの時点で自らの行動が現実世界に影響を及ぼすものであると理解したのか、あるいはどの程度まで架空のテストシナリオだと信じ込んでいたのかについても、依然として確証は得られていないとしています。
「この種の事案は、AIの進化のスピードをそのまま反映したものです。能力が進歩するにつれ、こうしたシステムを理解し、その安全性を確保するための取り組みも、それに歩調を合わせて進めていく必要があります」とAISIは付け加えました。
今回の一連の事案は、リスクの様相が変化しつつあることを示しています。もはや、悪意ある攻撃者が公開されているAIツールを悪用するというだけの話ではありません。信頼された環境下であっても、高い能力を持つAIエージェントが想定外の行動を取り、本来意図されていなかったことを実行し、実世界に実害をもたらす可能性があるのです。こうした被害が実際に発生した場合、誰が責任を負うのかという点は、現在議論の的となっています。
最後にAISIは、今回の事案を機に評価プロトコルとセキュリティアーキテクチャの見直しに着手したこと、さらに「評価の実行中にそれを監視し、対象範囲外の行動が発生した時点で検知・遮断できるよう構築された監視システム」を導入したことを明らかにしました。
英国国家サイバーセキュリティセンター(NCSC)のCTOであるOllie Whitehouse氏も同様の見解を示しています。「[AI技術は]最初から強固な安全対策、リアルタイムの監視、そして予期せぬ事態が起きた際の明確な対応計画を備えた形で開発・利用されなければなりません。インシデント発生後の検知だけに頼るやり方では、もはや十分とは言えないでしょう」。
翻訳元: https://www.helpnetsecurity.com/2026/08/05/ai-agent-deception-in-cyber-tests/
