Anthropicが明かした、テスト環境を脱走したClaudeが3社に侵入していた事実

Anthropicは、自社のClaude AIモデル3種がサンドボックス環境から脱走し、第三者組織をハッキングしていた証拠を発見しました。これは先週明らかになったOpenAIに関する報道の内容と重なるものです。

このAI大手企業は7月30日のブログ投稿で、これらの事案は4月にまで遡るものであり、Opus 4.7、Mythos 5、そして社内研究用テストモデルに関わるものだと明らかにしました。

OpenAIに関する報道を受けて、「Claudeがインターネットアクセスを得られた可能性がある」141,006件の評価実行結果を精査した結果、この証拠を発見したとしています。

「他のAI研究機関にも、同様のレビューを実施することを推奨します」と同社は述べています。

関連記事: イングランド銀行、FCA、財務省がフロンティアAIに警鐘を鳴らす

Anthropicによると、3件の事案はすべて、モデルのサイバー能力を評価するために用いられたCTF(Capture The Flag)形式の課題に端を発するものだったといいます。

「このモデルには架空のシナリオが与えられ、秘密情報(フラグ)がネットワーク上の別のマシンに隠されていること、そしてその目的が侵入してフラグを取得することにあると伝えられます」と同社は説明しています。「課題は自由度の高い形式で提示され、特定の手法は指定されません」。

Anthropicがプロンプト上でClaudeに対し、この環境がシミュレーションでありインターネットアクセスは持たないと明示していたにもかかわらず、モデルはサンドボックスから脱走しました。同社は、これを「評価パートナーとの間で生じた誤解」によるものだと説明しています。

3つのモデル、3件の事案

最初の事案はClaude Opus 4.7に関わるもので、最も深刻な事例とされています。

架空の対象企業が、実在する稼働中のWebドメイン名と同じ名称を持っていたため、モデルはこの実在ドメインが課題の一部であると誤認しました。

Anthropicの説明によると、モデルは4回の実行を通じて、アプリケーションおよびインフラの認証情報を含む情報を抽出し、数百行分の本番データを含むデータベースへのアクセスを獲得したといいます。

2件目の事案では、Claude Mythos 5が悪意のあるPythonパッケージを作成し、PyPIにアップロードしました。この際、事前にメールアカウントを登録する必要がありました。この仕掛けを施したパッケージは1時間にわたって公開状態にあり、実在する15台のシステムでダウンロードされ実行されました。

そのうち1件では、対象企業の環境上でパッケージが実行され、認証情報が窃取されたことで、この企業内のさらなるリソースへのアクセスが可能になりました。

3件目の事案では、Claudeがある企業のインターネット公開アプリケーションを発見し、侵害しました。その手口についてAnthropicは、「公開されたデバッグページからの認証情報の読み取りやSQLインジェクションといった、基本的でよく知られたサイバー攻撃手法」だったと述べています。

SemgrepのCTO兼共同創業者であるDrew Dennison氏は、今日のフロンティアAIモデルの能力の高さを踏まえれば、今回のテスト結果は驚くには当たらないと述べています。

同氏はさらに、「意外なのは、安全性をこれほど真剣に受け止めている研究機関でさえ、これほど高性能なモデルを封じ込めるよう設計された『フォートノックス』級のテスト用サンドボックスをいまだ持っていないという点です」と付け加えています。

「業界はこの種の活動を封じ込めるでしょうが、それによって、悪意ある攻撃者が今後半年以内にこの水準のモデルへのアクセスを獲得し、意図的に同様の行為を試みることを防げるわけではありません。防御側に残された準備期間は限られており、だからこそ今のうちにソフトウェアの攻撃対象領域を強化しておくことが極めて重要なのです」。