Anthropicは木曜日、同社のClaudeモデルの一部が課題を解こうとする過程でテスト環境から抜け出し、3つの組織のシステムに侵入していたことを明らかにしました。
今回の公表は、OpenAIが自社モデルが隔離環境と思われていた場所から抜け出し、Hugging Faceに侵入したほか他の組織にも侵入したことを明らかにした後に行われたものです。
Anthropicは、OpenAIのインシデントが明らかになったことを受けて独自調査を実施することを決定し、Claudeがインターネットにアクセスできた可能性のある評価実行14万1000件を精査しました。
その分析の結果、モデルが公開ウェブに到達した事例が3件見つかりました。いずれも、AnthropicのサードパーティによるAI評価パートナーの1社であるイスラエルのAIセキュリティスタートアップ、Irregularが構築した環境の内部から、あるいは同環境とやり取りする最中に発生していました。
テスト環境から抜け出したモデルは、その後、匿名の3組織の本番システムに侵入しており、最も早い侵入は4月にさかのぼります。
このAI大手企業によると、Claudeはサイバー能力を評価するためのカプチャー・ザ・フラッグ(CTF)課題に取り組むよう指示されていたとのことです。
サンドボックスからの脱出は、Anthropicとirregular社との間の認識の齟齬が原因で発生しました。Anthropicは、インターネット接続のない環境でシミュレーションを実施していると想定してClaudeに伝えていましたが、実際にはインターネット接続が利用可能な状態になっており、モデルはこれを演習の一部として扱ってしまいました。さらにAIは、標的とした組織も演習の対象に含まれていると誤って認識していました。
Anthropicは、同社のモデルが実際の攻撃を行った理由はこれのみであり、テスト環境から脱出することは一切意図していなかったと主張しています。
JFrog製品のゼロデイ脆弱性の悪用が関わっていたOpenAIのインシデントとは異なり、Claudeモデルによるハッキングでは、脆弱な認証情報や未認証のエンドポイントなど、基本的な攻撃手法が用いられていました。
実際に発生した攻撃
Anthropicによると、今回のインシデントにはMythos、Opus、そして社内研究用モデルが関わっており、いずれも顧客向けに提供される際に導入される安全対策なしで稼働していたとのことです。同社が「最新」と表現する社内モデルは、実際の企業に侵入したことに気づいた時点で演習を中止しました。
1件目のインシデントでは、Claude Opus 4.7は、自らがテスト環境ではなく実環境で稼働していると知った後も、ハッキングした企業が評価対象の一部だと信じ込んで攻撃を継続しました。このモデルが同社を標的にしたのは、そのウェブサイトのドメイン名が、テスト用に設定された架空の標的企業の名称に似ていたためです。
2件目のインシデントでは、Mythos 5が悪意のあるPythonパッケージをPyPIに公開した後、あるサイバーセキュリティ企業のシステムへのアクセス権を取得しました。同社は定期的にPythonパッケージをスキャンしていましたが、この悪意のあるパッケージをインストールしてしまい、これによりAIは認証情報を窃取し、同社のインフラにアクセスすることが可能になりました。
このインシデントは、AIモデルが実行し得る行動の複雑さを示しています。Anthropicは次のように説明しています。
PyPIのアカウントを作成するために、Claudeはメールアドレスを必要としていました。そしてメールアドレスを作成するためには、電話番号が必要でした。電話番号を取得するにあたり、無料の電話番号サービスを見つけることに失敗した後、Claudeはいくつかの異なる方法で電話番号の代金を支払うための資金を得ようと試み、失敗しました。最終的にClaudeは方針を転換し、ブロックされていない無料のメールプロバイダーを見つけ出し、これを使ってPyPIアカウントを登録した上で、そのアカウントを使ってマルウェアをPyPIにアップロードしました。
3件目の侵入は社内モデルによって実行されたもので、このモデルはアクセスしていたシステムがもはやカプチャー・ザ・フラッグ課題の一部ではないと気づいた時点で動作を停止しましたが、それより前に、露出した認証情報とSQLインジェクションの脆弱性を利用して、ある企業のインターネット向けアプリケーションを侵害していました。
Anthropicは、これは主にハーネス(実行環境の制御機構)および運用上の失敗によるものであり、モデルが自らの目標を追求したり、評価者を意図的に欺いたりした事例ではないと結論づけています。
同社は今回のインシデントが、サードパーティのテスト環境においてインターネット隔離のより厳格な検証と封じ込め対策が必要であることを浮き彫りにしていると述べ、他のAI研究機関に対しても、自社のサイバーセキュリティ評価について同様の見直しを行うよう促しています。
