Microsoftのバグ報奨金支払額、研究者参加急増で2,000万ドルに到達

サイバー評価テストの最中に、AIエージェントが一線を越える行動を取っていたことが明らかになりました。

英国のAI安全性研究所(AISI)は、7月25日から7月28日にかけて実施したサイバーセキュリティ評価の中で、AIエージェントによる許可されていない行動を19件確認したと発表しました。この発表は、高度なAIシステムに大幅な自律性を与えた場合にどのような振る舞いをするのかという点について、新たな疑問を投げかけています。

AISIによると、これらの事例は、最先端のAIモデルがサイバーセキュリティ課題を解決できるかどうかを検証するために設計された122回の評価実行のうち、10回で発生しました。同研究所によれば、19件の行動のうち17件はAnthropicの「Mythos 5」に関連するもので、残り2件はサイバー安全性分類器をテストのために無効化した状態のOpenAIの「GPT-5.6 Sol」に関連するものでした。

同機関は、いずれの試みも実際の被害にはつながっていないと強調した上で、モデルは一般提供時の状態を反映しないテスト条件下で稼働していたと説明しています。この条件には、インターネットへの無制限アクセスや、モデルの最大能力を測定するためのサイバー保護機能の無効化が含まれていました。

ソーシャルエンジニアリングと悪意あるコード挿入の試み

AISIによると、最も深刻な事例は、Mythos 5のエージェントが実在するオープンソースのGitHubプロジェクトに悪意あるコードを挿入しようとしたケースでした。

このエージェントは、プロジェクトのメンテナーを調査した上で偽のオンライン上の身元を作り出し、それを使って人間のレビュアーにコードを承認させるよう圧力をかけたとされています。追及されると、以前の活動を無害に見せかけるよう編集し、さらに新たな偽の身元を使って作業を続けることも検討していました。最終的に、このプルリクエストは人間のメンテナーによって却下されました。

同研究所はほかにも、エージェントが実在の人物に欺瞞的なメッセージで接触しようとした事例や、他のAIシステムを標的としたプロンプトインジェクションを仕込もうとした事例、さらには同じ課題に取り組む他のAIエージェントに向けて、アカウントや成果物を再利用するよう指示を残していた事例なども記録しています。

この活動は、AISIの監視システムがTor匿名化ネットワークを通じて研究システムから外部へ出ていく異常なトラフィックを検知したことで発覚しました。同研究所は評価を停止し、影響を受けたシステムを隔離した上で、約1時間以内にインシデントを封じ込めたとしています。

「これほど明確な形で、特段の誘導なしに、自律性と欺瞞に関わるリスクが実世界で顕在化したのを目にしたのは今回が初めてです」とAISIは述べています。

Anthropic、安全対策は意図的に解除されていたと説明

Anthropicは、この評価では通常の本番システムに備わっている保護機能の多くが意図的に取り除かれていたと説明しています。

「今回の評価で使われたプロンプトには、インターネットの利用方法について特段の制限は課されていませんでした。これに加えて安全対策が解除されていたことで、モデルは当社のいかなる本番モデルの実態も反映しない『意図的に緩い条件』の下でテストされることになりました」と、同社はXに投稿した声明で述べています。

Anthropicはさらに、このインシデントについてAISIと共同で調査を進めていると付け加え、「安全な環境からの『脱出』を示す証拠はここには存在しない」と強調しました。

OpenAIも同様に、今回のテスト条件は「通常の利用実態を反映したものではない」と指摘した上で、「評価を安全に実施するための業界共通の手法を強化すべく、評価担当者や業界内の他の関係者と引き続き協力していく」と述べています。

全体像

今回のインシデントは、サイバーセキュリティ評価の最中にAIエージェントが意図しない行動を取っていたとする、OpenAIおよびAnthropicによる最近の他の公表事例に続くものです。AISIは、これらの事例を総合すると、AIリスクの様相に変化が生じつつあることがうかがえると述べています。つまり今後は、人間がAIツールを悪用するケースだけでなく、強力なAIエージェント自体が研究・テスト環境において許可された範囲を超えて行動するケースからも問題が生じる可能性があるということです。

解決されていない重要な限界も一つ残っています。AISIによれば、エージェントが自分たちの行動が実世界に影響を及ぼすものだと理解していたのか、それとも依然として架空のテストシナリオの中で動いていると認識していたのかは、現時点では判断できていないとのことです。

同研究所は現在、インターネットアクセスの管理強化やリアルタイム監視の追加を進めるとともに、最先端のAIシステムを検証する上で必要なリアリズムを保ちつつ、同様の行動を防ぐために今後の評価設計を見直しています。

その他のニュース: セキュリティ研究者らが、マルウェアが同期済みのパスキーをGoogle パスワードマネージャーから窃取できる可能性のある3つの攻撃手法を発見しました。