Claudeを巡る最近の3件のセキュリティインシデントを受け、Anthropicはより隔離された環境の整備、継続的な監視、明示的な指示、そして人間による事前介入へと舵を切っています。
OpenAIとHugging Faceの間で起きた騒動、そして自社モデルに関する最近の発覚事項から教訓を得て、Anthropicはセキュリティおよびアライメントの実践を刷新しています。
同社は、モデルがサンドボックスからの脱出を試みたり、実際のインターネットへのアクセスに成功したりした際にフラグを立てる管理体制を確立し、リスクが最も高いテスト環境を隔離しました。さらに、外部のテストパートナー向けに一連の安全基準を提案しています。その一つが、「インターネットにアクセスしてはならない」といった明示的な指示をAIエージェントに与えることです。
Anthropicは、Claudeに関わる最近の3件のセキュリティインシデントが「運用セキュリティの失敗」を反映していると認めた上で、モデルの推論能力や「無謀さ」に関する問題も浮き彫りになったとしています。同社は、こうした最近の出来事によって「サイバーセキュリティ防御を強化する緊急性が、これまで想定していた以上に高いことが裏付けられた」と述べています。
Anthropicのセキュリティ・アライメントへのアプローチ
同社は7月、GPTモデルがサンドボックス環境を抜け出し、Hugging Faceを無差別に攻撃したという衝撃的なOpenAIのインシデントを受け、自社のセキュリティ体制に関する調査に着手しました。
その後、同社はサイバーセキュリティのテスト中に発生した3件の事例を公表しました。これらはClaudeモデル（Opus 4.7、Mythos 5、および社内の研究用モデル）が、本来アクセスを許可されていないはずのコンピューターシステムにアクセスしたというものです。
これらのリリース前のモデルは、初期テストではよくあることですが、意図的にサイバーセーフガードなしで稼働しており、基本的なハッキング手法を用いてサードパーティ側の設定不備を悪用できてしまいました。推論の欠陥により、実際のインターネット上にあるものも含め、アクセスした対象はすべてキャプチャー・ザ・フラグ演習の対象範囲内であるとモデルが誤って認識していたのです。
Anthropicは、自社の内部セキュリティ体制がこの問題の原因ではなかったと主張しています。今回の悪用はサードパーティの環境で発生したもので、そこではインターネットアクセスが誤って開放されたままになっていました。そのため「モデルにはそもそも『ハッキングして外に出る』必要すらなく、たとえそうする意図があったとしてもです」としています。
とはいえ、今回の一連のインシデントは、サンドボックス自体を堅牢化することの重要性を浮き彫りにしたと同社は述べています。これまで開発者は、環境の設定という「単一の防御層にほぼ依存」していましたが、本来は監視、プロンプト内での明示的な境界設定、サンドボックスの封じ込めなど、複数の防御層を備えているべきだったとしています。
今回の発覚を受け、Anthropicはリリース前モデルの内部・外部評価を一時停止しました。リリース前モデル向けのリスクの高い強化学習(RL)環境も数週間にわたり停止され、一部のサンドボックスはより厳格なセキュリティゲーティングを備えた隔離環境へと移行されました。
研究者らは、モデルがテスト環境を「積極的に探ろう」としたり、そこから抜け出そうとしたりする試み、また意図せず実際のインターネットへのアクセスを得てしまった状況を自動的に検知する分類器を構築し、導入しました。さらに、過去のモデル評価を検証し、サンドボックスからの脱出や設定不備がなかったかを確認しました。
同社によると、モデルがサンドボックスの境界を突破した事例は見つからなかったとのことです。また、いくつかのサンドボックス設定にフラグが立てられたものの、いずれも外部システムの侵害には至りませんでした。
一方でアライメントに関しては、Anthropicの研究者らは「動機づけられた推論」に起因する共通の失敗パターンを発見しました。実際にはインターネットに接続しているにもかかわらず、モデルは自分がまだシミュレーション環境の中にいると思い込んでいたのです。そのため、モデル自身はテスト環境の境界を越えているとは認識していませんでした。もう一つの欠陥は「無謀さ」であり、目標達成のためであれば実環境で有害な行動を取ることも厭わないように見えるモデルの姿勢です。
これを受けて研究者らは、モデルの再サンプリング、偏った設定下でのテスト、不正行為を誘発しかねない環境の除外といった対応を進めてきました。また、本番運用のRLスタックを全面的に見直し、より厳格な審査プロセスを確立したほか、モデルへの報酬設計の仕様を変更し、誤検知を見逃しがちだった人間レビュアーの審査基準も厳格化しました。
さらにAnthropicは、社内従業員によるモデル利用の監視も拡大しており、自社のスタックに対するレッドチーム演習を継続しています。一部のリスクの高いRL環境は、手動レビューのために停止されたままとなっています。
研究者らは現在も、モデルが実際のインターネットに接続しているかどうかをどのように判断していたのか、そして推論上の欠陥により、接続している兆候を認識しながらも意図的に無視していたのかどうかを調査しています。また、トレーニング用サンドボックスの不備がアライメントの逸脱行動に不釣り合いなほど大きく寄与していることを「実証的に」確認したとしています。
ただし、それだけが唯一の原因ではありません。「アライメントの問題を解決するには、非常に幅広い潜在的問題に対処する必要があります」とAnthropicは述べ、「今後起こりうるアライメント関連のインシデントは、これまで見てきたものとは異なる挙動や原因を伴う可能性があります」としています。
テストのベストプラクティス
Claudeを巡るセキュリティインシデントがサードパーティの環境で発生したこと、そしてリリース前モデルはセキュリティ対策が往々にして弱いことを踏まえ、Anthropicは外部のテスト企業に対し、一連のベストプラクティスの遵守を求めています。
特に重要なのは、モデルの対象範囲を明示的に設定し、許可される行動およびモデルがアクセスして良いもの・悪いものを定義することです。境界は「インターネットへのアクセス権がありません」といった環境の説明としてではなく、「インターネットにアクセスしてはならない」という指示として明示しなければなりません。
その他の推奨プラクティスとしては、継続的なリアルタイム監視の実施、インターネットアクセスのない堅牢化されたサンドボックス内での評価の実施、そしてテストを行う前段階での脆弱性の洗い出しが挙げられます。さらに、モデル自身にサンドボックスからの脱出を試みるよう指示し、成功した場合は報告させることも含まれます。また、テスト担当者は評価上の課題が理論上のものではなく実際に解決可能であることを確認しなければなりません。そうでなければ、モデルが目標を達成するために意図した範囲外の行動を取ってしまう恐れがあるためです。
「評価は数百回、時には数千回に及ぶ試行を通じて実施される場合があるため、パートナー企業は評価を開始する前に、このテストを十分な時間をかけて実施することが理想的です」とAnthropicは述べています。
同社は、同じくサイバーセーフガードなしで稼働するClaude Mythos 5へのアクセス権を持つ関係者向けに、対応するベストプラクティスを策定中であるとしています。
今後についてAnthropicは、「多層防御」戦略を掲げています。アライメントの段階では、モデルは「有用で、正直で、無害」であるよう訓練され、不可逆的な行動や文脈上無関係な行動を取らないよう誘導されます。モデルには最小限の権限のみが与えられ、その行動は制限される一方、オフラインでの監視により、何か問題が見られた際には人間に通知が届く仕組みになっています。
そして最後の砦として、あらかじめ定められた分類器に基づきリスクの高い行動はブロックされます。また、セキュリティ層が機能しなかった場合には、人間が「緊急停止コードを引く」ことでエージェントの見直しや一時停止を行うことができます。
安全性は要素の一つに過ぎない
専門家はこの取り組みを前向きな一歩だと評価する一方で、基本的な対応にとどまるとも指摘しています。Beauceron SecurityのDavid Shipley氏は、より優れた隔離体制や監視といったベストプラクティスは、そもそもエージェントにシステムのハッキングを行わせる前から整備されているべきだったと指摘しています。
「遅くとも、やらないよりはましです」と同氏は述べ、次のように付け加えています。「こうしたフロンティア企業はいずれも、重大な過失をマーケティングに転じるかのような『自虐的な武勇伝』の恩恵を受けていますが、今回の発表には確かな改善点もいくつか見られます」。
Shipley氏はまた、EU AI法がすでに施行されていることも新たな文脈を加えていると指摘します。欧州の規制当局は、フロンティアAIがもたらす安全性の問題を掘り下げて調査しています。これらの企業はテック業界史上でも屈指の急成長を遂げてきましたが、それと同時に、規制当局の対応もおそらく史上最速のペースで進んでいます。規制当局が「ソーシャルメディアの混乱」から教訓を得て、甚大な被害が生じる前に新興技術の動向を注視し続けていることが理想的だと同氏は述べています。
同時に、フロンティアAI企業各社は、Metaを標的としたような注目度の高い訴訟事件の動向も注視しています。
これが第三の文脈を加えることになります。こうした企業が提訴されるスピードもまた、前例のないペースで進んでいるのです。「したがって、今回のブログ記事は、規制当局や裁判所に対するデューデリジェンスの抗弁材料としての証跡づくりという側面も含めて読むべきでしょう」とShipley氏は指摘しています。
