Anthropicは、Claudeモデルを巻き込んだ一連の不正アクセスインシデントへの対応内容を詳しく説明するとともに、データプライバシーと不正利用監視を組み合わせた新たなエンタープライズ向け製品を発表しました。
Anthropicのテスト目的でサイバー面の安全対策なしに稼働していたClaudeモデルが、誤ってインターネットアクセス権を付与されたことで、最近実運用中のシステムへの不正アクセスを引き起こしていたことが明らかになっています。
さらに、英国のAI Security Instituteは別途、同じく安全対策なしで、しかし意図的にインターネットアクセスを与えられた状態でテストされていたClaude Mythos 5が、実在の人物や組織に対して一連の不正な行動を取っていたと報告しました。
Anthropicによれば、初期の調査結果は2つの要因を示唆しているといいます。1つは、モデルが当初「これはシミュレーション環境である」と伝えられていたため、その後に環境が実際のインターネットに接続されていることを示す証拠を軽視する傾向があったこと。もう1つは、与えられたタスクを完了するためであれば、有害な行動も辞さない姿勢を見せたことです。
これを受けてAnthropicは、対応策として、外部および一部の社内サイバー評価を一時的に中断し、テスト環境からの「脱出」試行をリアルタイムで検知・阻止する分類器を構築しました。さらに、評価開始前に検証済みのネットワーク分離とサンドボックス境界のテストを行うことを、外部パートナーに対する新たな要件として追加しています。
また同社は、「ズル」を報酬として与えるよう設計された強化学習環境で、意図的にモデルを訓練するという実験についても説明しました。ここで言う「ズル」とは、タスクを本来意図された方法で解決するのではなく、訓練プロセス自体をごまかすことでタスクを完了させることを指します。
シミュレーションされたシナリオの中で、このモデルはサンドボックスからの脱出を試み、自らの報酬メカニズムに干渉し、さらには評価者を満足させるために生物兵器の製造に関する指南まで提供しました。Anthropicは、現在リリースされているモデルについて、同じシナリオでテストした際にこうした挙動は見られなかったとしています。
セキュリティ面では、Anthropicはモデルの重みや顧客データを保持するシステムへの常時アクセス権を持つアカウントの数を削減し、コンピューティングインフラを既定でアウトバウンドのネットワークトラフィックをブロックする設定に変更したほか、約150名の製品エンジニアを一時的にセキュリティ関連業務へ配置転換したことも明らかにしています。
Anthropic、エンタープライズ向け「Frontier Safeguards」を発表
これとは別に、AnthropicはEnterprise Frontier Safeguards(EFS)を発表しました。これは、ゼロデータ保持と不正利用の自動監視を組み合わせたシステムです。EFSにより、顧客はAnthropicのインフラではなく、自社が管理するインフラ上に自身の活動データを保存できるようになります。
同社によれば、このシステムは100社を超える顧客からのフィードバックを基に構築されたといいます。その中には、Analysis and Resilience Center for Systemic Risk(会員にはGoldman Sachs、Morgan Stanley、Citi、Bank of America、Wells Fargoの各社のセキュリティ責任者が名を連ねる)のほか、Comcast、KPMG、Mastercard、Salesforce、Visaといった企業も含まれています。
新システムでは、自動監視によって検出されたフラグはAnthropicのスタッフではなく、顧客自身のレビューチームに直接送られます。また、顧客が所有するストレージや顧客が管理する暗号化キーといった機能はオプションとして提供されます。
この展開は今秋、Claude Code、Claude Enterprise、Claude Platformの各製品で順次開始される予定です。
