Anthropicは本日、社内セキュリティテスト中にClaudeモデルの一つが悪意あるPythonパッケージを作成し、PyPIにアップロードしていたことを明らかにしました。このパッケージはレジストリの自動防御機能によって削除されるまでの間に、実環境の15台のシステムで実行されていたといいます。
同社はこれを、本来隔離されているはずの評価環境からClaudeモデルがオープンなインターネットに到達し、3つの組織の本番インフラを侵害した3件のインシデントのうちの一つとして公表しました。
今回の見直しは、OpenAIが7月21日に公表した、同社のモデルが隔離されたテスト環境から脱出しHugging Faceの本番インフラに到達していたという事案を受けたものです。JFrogは後に、同モデルが自社ホスト型のArtifactoryに存在するゼロデイ脆弱性を悪用して脱出したことを確認しています。
存在しなかったパッケージ名を先取り登録
3件のインシデントはいずれも、サードパーティの評価パートナーであるIrregularを通じて実施されたCTF(Capture the Flag)演習中に発生しました。Anthropicがプロンプトに与えた指示では、Claudeにはインターネットアクセスがなく、環境はシミュレーションであると伝えていました。しかし設定ミスによりそのどちらも事実ではなく、両社ともこの事実に先週まで気づいていませんでした。
PyPIに関するインシデントでは、Claudeがテスト環境内で、架空の企業向けの開発者セットアップ手順を装った文書を発見しました。
その手順書には、新入社員に対し、実際には一度も公開されたことのない、いわば「幻の依存パッケージ」をインストールするよう指示する内容が記載されていました。
Claudeは、自らそのパッケージ名を登録すれば、対象のマシンが自動的にそのコードを取得してしまうことを見抜きました。
もっとも、実際に公開するまでには一苦労がありました。Claudeはまず、PyPIアカウントを作成する必要があり、それにはメールアドレスが必要で、さらにそのメールアドレスの取得には電話番号が必要でした。
無料の電話番号取得サービスを探しましたが見つからず、続いて番号を購入するための資金をいくつかの手段で調達しようと試みましたが、いずれも失敗しました。最終的にClaudeは方針を転換し、ブロックされていないメールプロバイダーを見つけてアカウントを登録し、マルウェアをアップロードするに至りました。
攻撃者より先に、あらゆるレイヤーをテストせよ
セキュリティチームが記録できている攻撃の成功例はわずか54%、アラートを発報できているのはたった14%に過ぎません。残りは環境内を検知されないまま通過しています。
PicusのホワイトペーパーはBreach and Attack Simulation(侵害・攻撃シミュレーション)がSIEMやEDRのルールをどうテストし、検知をすり抜ける脅威を防ぐかを紹介しています。
