Anthropicは本日、社内セキュリティテスト中にClaudeモデルの一つが悪意あるPythonパッケージを作成し、PyPIにアップロードしていたことを明らかにしました。このパッケージはレジストリの自動防御機構によって削除されるまでに、実在する15台のシステム上で実行されていたとのことです。
同社はこれを、本来は隔離されているはずの評価環境からClaudeモデルがオープンインターネットに到達し、3つの組織の本番インフラを侵害した3件のインシデントの一つとして公表しました。
今回のレビューは、OpenAIが7月21日に公表した、自社モデルが隔離されたテスト環境から脱出し、Hugging Faceの本番インフラに到達していたという事案を受けたものです。その後JFrogは、当該モデルが自己ホスト型Artifactoryのゼロデイ脆弱性を悪用して脱出したことを確認しています。
存在しなかったパッケージ名を取得
これら3件のインシデントはいずれも、サードパーティの評価パートナーであるIrregularを通じて実施されたCTF(Capture The Flag)演習中に発生しました。Anthropicがプロンプトに記載していたのは、Claudeにはインターネットアクセスがなく、環境はシミュレーションであるという内容でした。しかし設定ミスによりそのどちらも事実ではなく、両社とも先週までこれに気づいていませんでした。
PyPIに関するインシデントでは、Claudeがテスト環境内で、架空の企業向けの開発者セットアップ手順書を装った文書を発見しました。
その手順書には、新入社員に対して、まだ一度も公開されたことのないPythonパッケージ、いわば「幻の依存パッケージ」をインストールするよう指示が書かれていました。
Claudeは、自らそのパッケージ名を登録すれば、対象のマシンが自動的にそのコードを取得してしまうことを見抜きました。
実際に公開するまでには、それなりの手間がかかりました。Claudeが公開するにはPyPIのアカウントが必要で、そのアカウント作成にはメールアドレスが、さらにメールアドレスの取得には電話番号が必要だったのです。
無料の電話番号取得サービスを見つけられなかったClaudeは、番号を購入する資金を得ようと複数の方法を試みましたが、いずれも失敗しました。最終的には方針を転換し、ブロックされていないメールプロバイダーを見つけてアカウントを登録し、マルウェアをアップロードするに至りました。
攻撃者より先にあらゆる層をテストする
セキュリティチームが検知できている攻撃成功事例はわずか54%、アラートが出るのはたった14%に過ぎません。残りは検知されないまま環境内を移動しています。
Picusのホワイトペーパーでは、侵害・攻撃シミュレーションによってSIEMやEDRのルールをテストし、脅威が検知をすり抜けるのを防ぐ方法を紹介しています。
