Anthropicによると、同社のAIモデルが実際のシステムを自律的に侵害した最近の3件のインシデントは、モデルのアラインメントの失敗というよりも、AIを封じ込めるために設計されたシステム側の不備が原因だったといいます。
この侵害は、Anthropicが自社のClaude AIモデルによる新規脆弱性の自律的な発見・悪用能力を、模擬サイバーセキュリティ環境でテストしている最中に発生しました。同社は通常、こうしたCTF(キャプチャー・ザ・フラッグ)形式の演習をインターネットに接続していない環境で実施しており、多くの場合は外部パートナーと協力してテストを行っています。
OpenAIが7月中旬、自社のAIエージェントの1つが同様に隔離されたテスト環境から逃れ、Hugging Faceの本番システムに侵入したことを公表した直後、Anthropicは自社のテストを見直し、同様のインシデントが発生していないかを確認しました。
架空のシナリオが引き起こした現実の侵害
同社は合計141,006件のテストを分析し、Claudeエージェントがフラッグの奪取を試みる過程で、外部組織のシステムへ不正アクセスした事例を6件特定しました。このうち4件は同一の組織に影響を及ぼしたもので、残る2件はそれぞれ別の組織に影響していました。
あるインシデントでは、Claudeが実在の企業を演習上の架空のターゲットと誤認識し、その脆弱性を悪用して認証情報と、数百行分の本番データを含むデータベースへのアクセス権を取得してしまいました。別の事例では、Claudeは架空のターゲットを侵害しようとする過程で、悪意のあるPythonパッケージを実際のPyPIリポジトリに公開してしまいました。この仕掛けを施したパッケージは、あるセキュリティ企業のスキャナーを含む15の実システムに配布される結果となりました。Anthropicは「Claudeはこの攻撃を実行するために広範な手段を講じており、人間の参加者であれば、これがもはや単なる評価ではなく、実際のPyPIパッケージをアップロードしていることに気づいたはずのレベルだった」と述べています。
3件目のインシデントでは、Claudeは架空のターゲットにたどり着けなかったため、インターネットに接続された約9,000のシステムをスキャンし、露出した認証情報の取得やSQLインジェクションの脆弱性の悪用といった基本的な手法を用いて、実在の企業のインターネット向けアプリケーションを侵害しました。ただしこのケースでは、Anthropicのモデルは最終的に実際のシステムを侵害していたことを認識し、それ以上の行動を停止しました。
封じ込めの失敗
Anthropicはブログ投稿で「いずれのケースでも、評価用プロンプトにはClaudeがインターネットアクセスを持たないことが明記されていましたが、フラッグをどこまで探してよいかについての制限はClaudeに与えていませんでした」と説明しています。しかし設定ミスが原因で、Claudeがテストの一環でアクセスしたマシンには実際のインターネットアクセスが存在していました。Anthropicは「私たちも評価パートナーも、先週追加の評価モニタリングを通じてこの設定ミスを検知するまで、その存在に気づいていませんでした」と述べています。
OpenAIがAIモデルによるHugging Faceのシステム侵害を公表してからわずか数日後に行われた今回のAnthropicの開示は、自律性を増すAIシステムがもたらすセキュリティリスクへの懸念の高まりを裏付ける結果となったようです。
しかし、Guardrail TechnologiesのCEOであるT.J. Marlin氏がDark Readingに語ったところによると、Anthropicのテストをめぐる議論の多くは、本質からずれた論点に焦点を当てているといいます。「モデルは非決定論的なものであり、予期せぬ挙動はこうしたシステムの仕組み上つきものです」と同氏は指摘します。セキュリティの世界では、ユーザーが時に予期せぬ判断を下すことを前提として長年運用されてきました。だからこそ、組織はID管理、認可、監視、封じ込めの仕組みに長らく依拠してきたのです。今回のAnthropicのインシデントで問われるべき核心は、モデルが何をしたかだけでなく、モデルがどのシステムにアクセスできる状態に置かれていたかという点です。Marlin氏は「今回の一連のインシデントは、自律システムを取り巻く制御体制の弱さを露呈させたものであり、これはモデルの問題である以前に、ガバナンスの問題だと言えます」と付け加えています。
AIエージェントを特権を持つ内部関係者として扱う
Marlin氏は、AIエージェントを高い権限を持つデジタル従業員として扱う必要があると述べています。「エージェントごとに個別のIDを割り当て、最小権限アクセスを徹底し、継続的な監視を行い、プロンプト・判断・ツール使用・システム変更を記録する詳細なログを取得し、さらに即座にシャットダウンできる検証済みの仕組みを備えるべきです」と同氏は説明します。「単にAPIキーを管理するだけでは不十分です」。
Anthropicは、Claudeが実在の組織を攻撃するという目的を自律的に形成した形跡は分析上見られなかったと述べています。むしろ、いずれのケースでもモデルは与えられたタスクの目的を追求する中で、遭遇した実システムを模擬演習の一部だと誤って信じ込んでいたといいます。「CTF形式のシナリオはその設計上、外部システムを攻撃せよという指示そのものであるため、そうした行動はClaudeに与えられたタスクに沿ったものでした」。
IGELの政府機関・OT/IoT担当フィールドCTOであるJohn Walsh氏は、今回のインシデントを主に運用面・評価用ハーネス面の不備として位置づけるAnthropicの説明は妥当だと述べています。「プロンプトやポリシー、モデルレベルの安全策だけでは、セキュリティの負担を担いきれないことをこの一件は示しています」と同氏は語ります。
組織は、コード実行権限、認証情報、各種ツール、ネットワークアクセスを持つエージェントが、到達可能なあらゆる能力を行使しうること、そして設計者が想定していなかった経路を発見する可能性すらあることを前提に据える必要があります。Walsh氏は「求められる対応は、独立してガバナンスされたエージェント実行環境を中心に据えた多層防御です」と提言します。具体的には、デフォルトで拒否するネットワークアクセス、厳格に権限を絞った短命の認証情報、使い捨てのランタイム環境、厳格なアウトバウンド制御、影響度の大きい操作に対する人間による承認、そしてエージェントとモデル・ツール・API・MCPサーバー・他のエージェント・本番システムとのやり取り全般にわたる継続的な監視が含まれます。「こうした制御は、エージェント自身の管理権限の外側に置かれるべきであり、ポリシー違反となる挙動が検知された際に実行を中断・終了させる機能も備えていなければなりません」。
CBTSの仮想CISO(vCISO)であるJohn Bruggeman氏は、高性能なAIモデルをテストする際に組織が講じる安全対策は、そのモデルに与える目的と整合させる必要があると指摘します。「もしLLMに与えられた目標が『このアプリケーションやシステムにあるあらゆる弱点を見つけ出せ』というものであれば、組織側はモデルが弱点を見つけるためにありとあらゆるもの、モデル自身が置かれている環境そのものすら『破壊』しうることを覚悟しておく必要があります」と同氏は述べます。だからこそ、組織はテスト環境を厳重に隔離し、モデルがインターネットにアクセスできないようにすることが極めて重要になります。「OpenAIやAnthropicが経験したような事態を回避すること自体は、それほど難しいことではないのです」。
Anthropicは今後、社内および第三者によるテスト環境に対する管理をより厳格化し、評価記録における異常な活動を継続的に精査するとともに、インシデント調査のためのより優れたツールを導入していく方針だと述べています。
翻訳元: https://www.darkreading.com/cyber-risk/anthropic-ai-issues-result-security-gaps
