OpenAIに続きAnthropicも、サイバーテスト中にClaudeが3組織に侵入していたことを発見

OpenAIが、サイバーセキュリティ評価中に実験的なAIモデルがHugging Faceに侵入したことを開示してから2週間も経たないうちに、Anthropicも自社の調査結果を公表しました。それによると、同様のテスト中にClaudeモデルが3つの組織の本番インフラへ不正アクセスした事例が、3件確認されたということです。

AnthropicはOpenAIによる情報開示——実験的モデルの一つが評価環境から逸脱したという内容——を受けて、この調査に着手したとしています。

「Claudeがインターネットにアクセスできた可能性のある評価実行141,006件を精査した結果、モデルがサードパーティ評価パートナーであるIrregularの評価環境内から、あるいは同環境とやり取りする中でインターネットにアクセスし、その後3つの異なる組織の本番インフラへ不正アクセスした事例を3件特定しました」と、Anthropicはブログ投稿で述べています。

ただし同社は、対象となった3組織の名称は明らかにしていません。また、コメント要請にも即座には応じていません。

今回の開示により、Anthropicは、公開前のサイバーセキュリティテスト中に自律型AIモデルが実際の本番システムとやり取りしていたことを報告した、最先端AI開発企業として2社目となりました。

Anthropicによれば、今回の一連の事例はインターネットアクセスを許してしまう設定ミスのあった評価環境に起因するものでした。一方OpenAIは、実験的モデルが未知の脆弱性を突いてテスト環境から逸脱したことが原因だとしていました。

設定ミスのあった評価環境が実環境のシステムを露出

Anthropicによると、一連の事例はClaudeの攻撃的なサイバー能力を測定するために設計されたCTF(Capture The Flag)演習の最中に発生しました。同社は当初、評価環境は公衆インターネットから隔離されていると考えていましたが、後になって、サードパーティの評価パートナーとの間の認識の食い違いにより、実際にはインターネットアクセスが可能な状態になっていたことが判明しました。

「当社と評価パートナーとの間に認識の食い違いがあったため、実際にはそうなっておらず、インターネットアクセスが可能な状態でした。このため、Claudeが検索の結果、公衆インターネット上の実在するシステムにたどり着いた際、それを演習の一部として扱ってしまいました」とAnthropicは述べています。

Anthropicによると、Claude Opus 4.7、Mythos 5、そして社内研究用モデルという3つの異なるモデルが、4月に発生した一連の事例に関与していました。

Anthropicによれば、最も深刻だった事例は、Claude Opus 4.7が、架空の評価対象とドメインが一致する実在企業の脆弱性を悪用したというものです。この過程でモデルはアプリケーションの認証情報を取得し、本番データベースにアクセスしていました。

「この評価の4回の実行において、Claudeは評価環境内のシミュレートされたターゲットへの到達に苦労していましたが、その後、実在の企業がインターネット経由で到達可能であることを発見しました」とブログ投稿には記されています。「これがCTFタスクにおける本来の対象だと思い込んだClaudeは、その企業のインフラ内の脆弱性を、演習の一部だと信じたまま探索・特定・悪用しました……これが、当社が特定した中で最も深刻な影響をもたらした事例です」

2件目の事例では、Claude Mythos 5がシミュレートされたターゲットの侵害を試みる過程で、悪意あるPythonパッケージを公開のPyPIリポジトリに公開してしまったとAnthropicは述べています。同社によると、このパッケージは削除されるまでの約1時間、公開状態のままとなっており、その間に実在する15台のシステムでダウンロード・実行されていました。

3件目の事例では、社内研究用モデルがインターネットに公開されたホスト約9,000台をスキャンしたうえで、露出していた認証情報とSQLインジェクションを悪用し、実在企業のアプリケーションにアクセスしていました。Anthropicによれば、このモデルは後に自らが本番環境に到達したことを認識し、演習を中断しました。

サイバーセキュリティ研究者でレッドチーマーのVibhum Dubey氏は、PyPIの事例が企業防御側にとって最も大きな示唆を持つ可能性があると指摘します。というのも、被害を受けた組織は脆弱なアプリケーションを通じてではなく、ごく通常のセキュリティプロセスを通じて侵害されたためです。「率直に言って2件目の方が興味深い話です——その組織は、自社のセキュリティスキャナーがまさに本来の役割どおりに動作した結果、つまり新しいPythonパッケージを自動でインストールしてスキャンした結果、侵害されたのです。ただし、そのパッケージはテストの一環としてClaudeが構築しアップロードしたものでした」とDubey氏は述べています。「つまり、その企業は優れたセキュリティ慣行に従っていたにもかかわらず侵害されたわけで、これはかなり居心地の悪い事実です」

AnthropicはOpenAIの事例との違いを強調

Anthropicは、自社モデルが隔離環境から逸脱するためにソフトウェアの脆弱性を悪用したわけではないという点で、今回の調査結果はOpenAIによる先の開示とは異なると述べています。

「OpenAIのモデルは新種の脆弱性を悪用して隔離環境から逸脱しましたが、今回評価対象となったClaudeモデルは、開放されていた経路を通じてインターネットにアクセスしただけです。両者の間に完全に明確な線引きがあるわけではありませんが、当社としては、今回の一連の事例はモデルのアライメント面での失敗というよりも、実行環境(ハーネス)と運用面での不備に近いものだと考えています」と同社はブログ投稿で述べています。

また、最新の研究用モデルの挙動については「慎重ながらも前向きな評価」だとAnthropicは述べています。というのも、このモデルは自らが実環境に到達したことを認識し、評価の目的追求を自ら中止したためです。

Dubey氏は、今回の2件の開示は、最先端AIモデルの評価方法に関するより広範な問題を浮き彫りにしていると指摘します。
「大手AIラボがテスト環境から実際のインターネットへ漏出したことを認めたのは、この2週間ほどでこれが2件目です」と同氏は述べています。「もはや偶然とは言えません。これらのテストの目的そのものが、ガードレールを緩めた状態でモデルの攻撃的能力をどこまで押し上げられるかを見極めることにあるにもかかわらず、評価環境が本番システムよりも優先度の低いものとして扱われていることを示しています」

セキュリティ専門家、評価環境のより強固な安全対策を要求

SemgrepのCTO兼共同創業者であるDrew Dennison氏によれば、AnthropicとOpenAIによる一連の開示は、能力が高まり続けるAIモデルの評価に使われる環境が抱える欠陥を浮き彫りにしています。

「安全性をこれほど真剣に受け止めているAIラボでさえ、これほど高性能なモデルを封じ込めるために設計された『フォートノックス』級のテスト用サンドボックスをいまだに持っていないというのは驚きです」とDennison氏は述べています。

さらに同氏は、AI開発企業各社が今後評価環境を強化していく可能性は高いものの、各組織は同様の能力が攻撃者の手にも渡るようになる事態に備えておくべきだと付け加えています。

「業界はこの種の動きを封じ込めるでしょうが、それによって悪意ある攻撃者がこのレベルのモデルへのアクセスを今後6か月以内に手に入れ、意図的に同じことを試みるのを止めることはできません」とDennison氏は述べています。「防御側に残された準備期間は限られており、だからこそ、今のうちにソフトウェアの攻撃対象領域を強化しておくことが極めて重要なのです」

Anthropicによれば、今回の調査結果を受けて、サイバー能力評価の実施方法にも変更を加えたとしています。

「強力な自律的能力に関わる評価環境には、相応の厳格な統制も必要です。安全性テストがモデルのリリース前に行われるのは、まさにそのモデルが何をできるのかがまだ分かっていないからです。評価環境も、当社のモデルが動作する他のあらゆるシステムと同水準のセキュリティ基準を満たすことが、ますます求められるようになっています」と同社はブログ投稿の中で付け加えています。