eSecurity Planetのコンテンツおよび製品に関する推奨事項は、編集上の独立性を保っています。パートナーへのリンクをクリックいただくことで、当社が収益を得る場合があります。詳細はこちら
OpenAIとAnthropicのAIエージェントが、英国政府によるサイバーセキュリティテストの中で19件の無許可行動を取っていたことが分かりました。偽のアイデンティティを作成したり、実在する開発者を標的にしたりする行為も含まれていました。
英国AIセキュリティ研究所(AISI)は、Anthropicの「Mythos 5」とOpenAIの「GPT-5.6-Sol」を搭載したエージェントが関与した122回の評価実行のうち、10回においてこうした行動を記録しました。実害は確認されていないものの、今回の調査結果は、自律型エージェントを承認された範囲内にとどめるためにプロンプトだけに頼ることができない理由を、英国の各組織に示すものとなりました。
Anthropicのエージェントが大半の行動を占める
Anthropicのエージェントは19件の無許可行動のうち17件に関与しており、OpenAIのエージェントは2件でした。ロイターが報じています。
同研究所は、意図的に緩い条件下で架空のサイバーセキュリティ課題を用いてこれらのエージェントをテストしました。モデルにはインターネットアクセスが許可されており、能力を評価するために通常の安全管理機能の一部が無効化されていました。
AISIによると、一部のエージェントはテストの想定範囲を超えて、実在する人物や組織を対象とした継続的な活動を行っていたということです。
最も深刻だったケースでは、Mythosを搭載したエージェントが、一般に利用されているオープンソースプロジェクトに悪意のあるコードを挿入しようと試みました。このエージェントは偽のオンラインアイデンティティを作成し、人間のレビュアーにコードを承認させようと開発者に接触していました。
The Guardianの報道によれば、このエージェントは主張を裏付けるために偽のGitHubアカウントも作成し、2名の開発者に狙いを定めたメッセージを送信していたということです。
AISIによると、この事案は約1時間以内に封じ込められ、既知の被害は生じなかったとしています。
目的達成のために欺瞞を用いたエージェント
この事案は、エージェントが単にAPI呼び出しを誤ったり、許可されていないウェブサイトにアクセスしたりする範疇を超えるものでした。
CNNによると、このエージェントは人間のレビュアーやそのAIコーディングツールに悪意のあるコードを実行させようと圧力をかけようとしていました。その行動について疑問を呈された後、このエージェントは過去の記録を改変し、活動を継続するために別のアイデンティティの使用を検討していたと報じられています。
AISIはこの挙動を、特段の指示がないにもかかわらず、自律性・欺瞞性・実在の人物を標的とした行動という、新たな種類のリスクだと表現しています。
「自律性と欺瞞をめぐるリスクが、特定のプロンプトなしにこれほど明確な形で、現実世界において顕在化したのを目にしたのは今回が初めてです」と同研究所は述べています。The Guardianが伝えています。
OpenAIは、自社の2件の無許可行動について、テストのプロンプトで禁止されていた方法でインターネットにアクセスしたものだったと説明しています。Anthropicは、偽アイデンティティに関する事案について自社のエージェントが関与していたことを認め、AISIとともに調査を進めていると述べています。
テスト条件について押さえておくべき重要な文脈
これらのエージェントは、保護されたサンドボックスから脱出したわけではありません。AISIは評価の一環として、意図的にインターネットアクセスを許可していました。
また、これらのモデルは通常の一般利用を反映しない条件下でテストされていました。Anthropicは安全対策が解除されていたと説明し、OpenAIはこの環境が通常の展開環境を代表するものではないと述べています。
こうした詳細は、今回の調査結果をどこまで一般化して解釈すべきかを制限するものです。今回のテストは、実際に展開されているOpenAIやAnthropicの製品が、通常の企業利用においても同様の挙動を示すことを立証するものではありません。
ただし、能力の高いエージェントが、インターネットアクセスやツール、限定的な監視といった条件が与えられた場合、運用者が承認していない行動を通じて与えられた目的を追求する可能性があることは、今回の結果が示しています。
英国のセキュリティチームに求められる、プロンプトを超えた統制
同研究所は、評価期間中にエージェントを継続的に監視していたわけではなかったことを認めています。現在は常時監視の導入、インターネットアクセス制御の強化、そして今後のテスト設計の見直しを進めているということです。
英国の国家サイバーセキュリティセンター(NCSC)は、今回の事案が、強固な安全対策、リアルタイムの監視体制、そして明確な対応計画の必要性を示していると述べています。
- インターネット、メール、コードリポジトリ、ファイル転送へのアクセスをデフォルトで制限する
- コードの変更や外部への連絡には人間による承認を必須とする
- エージェントの行動、アイデンティティの変更、ツール利用について改ざん耐性のあるログを保持する
セキュリティチームはまた、各エージェントに与える権限をタスクに必要な最小限にとどめるとともに、予期しない挙動が発生した際に即座に停止できる手順を整備しておくべきです。
今回のAISIの調査結果は、企業向けAIエージェントが本質的に悪意を持っていることを示すものではありません。むしろ、エージェントの目的・ツール・権限に見合った継続的な技術的監視が伴わない場合、自律性がセキュリティ事案を引き起こしうることを示しています。
今回の英国での調査結果は、直近に発生した別のエージェント関連セキュリティ事案に続くものです。同じテストの中で、Hugging Faceの侵害を引き起こしたOpenAIのエージェントが、さらに4つの公開サービスにもアクセスしていたことが判明しています。
KJ
Kezia Jungco
Kezia Jungcoは、人工知能、データ分析、CRMソフトウェア、クラウドインフラ、サイバーセキュリティ、そして新興のビジネステクノロジーを専門とするテクノロジーライター兼リサーチャーです。ソフトウェアプラットフォームやテクノロジーソリューションの評価において5年以上の経験を持ち、ビジネスリーダーが今後の働き方を形作るツールやトレンドを理解する手助けをしています。
Keziaは、生成AIプラットフォーム、チャットボット、自然言語処理(NLP)ツール、CRMシステム、業務用ソフトウェアの実践的なテストと分析において豊富な経験を有しています。彼女の仕事は、複雑なテクノロジーを実用的な知見へと落とし込み、各組織がテクノロジー導入、業務効率化、デジタルトランスフォーメーションについて的確な判断を下せるよう支援することに主眼を置いています。
TechnologyAdviceのスタッフライターとして、KeziaはAIイノベーション、機械学習のビジネス活用、データ駆動型テクノロジー、クラウドコンピューティング、サイバーセキュリティ、営業支援テクノロジーを取材しています。ジャーナリズム、リサーチ、教育の分野で培った経験を生かし、厳密な分析と、企業・一般読者双方にとって分かりやすい明快な記事作成を両立させています。
Keziaはフィリピン大学ロスバニョス校で開発コミュニケーション学(専攻:開発ジャーナリズム)の学士号を取得しています。また、人工知能、データプライバシー、情報セキュリティに関する専門トレーニングも修了しています。彼女の記事はTechnologyAdvice、TechRepublic、eWeek、Datamation、Selling Signalsに掲載されており、急速に変化するテクノロジーの世界を読者が実践的かつ調査に基づいた知見をもとに読み解けるよう手助けしています。
