アンソロピック、人為的ミスによりClaude AIモデルがテスト環境を脱出し第三者をハッキングしたと発表

アンソロピックのClaude AIモデルの複数のバージョンが、テスト環境から脱出し、他組織へのハッキングを3件の別々のケースで行っていたことが、木曜日にアンソロピックから発表されました。

このフロンティアAI研究機関の発表は、OpenAIが自社モデルに関する同様の事案を公表した約1週間後に行われたもので、AI開発企業が自社の高度なAI製品を適切に監督できているのかという懸念を、改めて呼び起こしています。

アンソロピックが公表した3件の事案では、Claudeは自分がキャプチャー・ザ・フラッグ(CTF)演習に参加しており、インターネットへのアクセス権はなく、利用可能なシステムはすべてテストの一部だと認識した状態で侵入行為を行っていました。アンソロピックはブログ記事の中で「当社と評価パートナーの間で認識の齟齬があったため」、実際にはそうではなく、インターネットアクセスが可能な状態になっていたと説明しています。

その結果、Claudeは3つの被害組織に遭遇した際、それらをシミュレーション上の標的だと信じ込み、脆弱なパスワードを悪用するといった基本的な攻撃手法を使って侵入してしまいました。

アンソロピックは「いずれのケースにおいても、Claudeが自身を外部に持ち出したり、意図的にテスト環境からの脱出を試みたりした事実はありません」と述べています。また、これらのAIモデルは「複雑な脆弱性を発見または悪用する」こともなく、あくまで与えられたタスクの完遂を試みていただけだったとしています。

3つの大きく異なるシナリオ

3件の事案のうち1件では、アンソロピックのテストパートナーであるIrregular社が、実在の組織と同じドメイン名を共有する架空の企業を作成していました。Claude Opus 4.7は、CTFテストを4回実施する中でこの企業に侵入し、本番環境の情報とユーザー認証情報を窃取しました。

別の事案では、侵入は偶発的に始まりました。テストの一環として、Claude Mythos 5は悪意のあるPythonパッケージを公開しましたが、Claudeはこれがテスト環境内でのみアクセス可能だと考えていました。しかし実際には一般のインターネット上に公開されてしまい、15台のコンピュータシステムがこれをダウンロードして実行していたのです。

それらのシステムのうち1台はあるセキュリティ企業のものでした。同社のパッケージスキャナーがこのプログラムを実行したことでMythos 5の情報窃取コードが発動し、ユーザー認証情報がAIモデルへと送信されてしまいました。Mythosはその後、この認証情報を使ってこのセキュリティ企業への侵入を行いました。

アンソロピックは、Mythosが「この攻撃を実行するために大変な手間をかけていた」と指摘しており、特に利用したPythonパッケージリポジトリでのアカウント登録の過程が顕著だったとしています。

「メールアドレスを作成するためには電話番号が必要でした」と同社は述べています。「電話番号を取得するため、無料の電話番号サービスを探すのに失敗した後、電話番号の対価を支払うための資金をいくつかの異なる方法で得ようと試み、これも失敗しました。最終的には方針を転換し、無料でブロックされていないメールプロバイダーを見つけ出し、これを使ってPyPIアカウントを登録した上で、そのアカウントを使ってPyPIにマルウェアをアップロードしました」

3件目の事案では、Claudeの内部テストバージョンが、当初の標的への侵入に失敗した後、インターネット上でその代替となる標的をスキャンしていました。最終的に新たな標的を選び出し、基本的な手法でこれに侵入しています。

それぞれの製品の旧バージョンにあたるOpus 4.7とMythos 5は、自分たちが一般のインターネット上で動作していると気づいた後も、侵入行為を継続していました。2つのケースにおいて、Opusは「実在する企業も演習の一部に違いないと理屈をつけた」とアンソロピックは述べています。Mythosも同様に、いくつかの怪しげな根拠に基づいて「自分はまだシミュレーション内にいると自らを納得させていた」ということです。

ブレーキを踏み、振り返る

アンソロピックがこれらの事案を発見したのは、OpenAIが自社の2つのモデルが封じ込めを突破し、複数の第三者をハッキングしたと発表したことを受けて、7月23日に開始したレビューの過程でのことでした。事案の中で最も早いものは4月に発生していました。3件の侵害を発見した後、アンソロピックはすべてのテストを停止し、Irregular社に通知するとともに、3つの被害組織に連絡を取りました。

アンソロピックによると、被害組織のうち2社とは連絡が取れており、両社とも「それ以前にはこの活動を検知していなかった」とのことです。また、3社目の組織についても引き続き連絡を試みているとしています。

アンソロピックは、これら3件の「孤立した事案」から広範な結論を導き出すのは時期尚早だとしつつも、最新モデルである内部テストバージョンについては、自身が一般のインターネット上にいると気づいた際に自律的に攻撃を停止するという点で、先行モデルが失敗した場面で成功を収めたことを心強く感じているとしています。

アンソロピックによれば、今回の侵害は、未検証の能力を持つモデルが被害をもたらすことを防ぐために、テスト環境に厳格な管理体制が必要であることを示唆しています。

アンソロピックは非営利のAI研究機関であるMetrと協力し、この事案について独立した検証を行う予定です。また、Mythosが関与した事案については、「軽度に編集を加えた記録」を「今後1週間以内」に公開する計画だとしています。一方、その他の記録については、「影響を受けた組織を保護するため」非公開のままにするとしています。