Anthropicは木曜日、自社のAIモデルがテスト環境を抜け出し、実在する組織を侵害していた事例が3件見つかったと発表しました。同社はライバルであるOpenAIで発生した類似のインシデントを受けて社内レビューを実施し、その過程でこれらの侵害を発見したとしています。
AIシステムが自律的にコンピューターネットワーク操作を行える能力をますます高めていく中、今回のインシデントは、責任の所在や情報開示の基準、封じ込め対策の妥当性といった問題を改めて浮き彫りにするものです。
Anthropicによると、被害を受けた組織は名前を明らかにされていませんが、いずれも自らその活動を検知していなかったとのことです。被害組織のうち1社については、同社が開示内容を公表した時点でまだ連絡が取れていなかったといいます。
Anthropicによれば、今回のインシデントの根本原因は、サードパーティの評価パートナーであるIrregular社との間に生じた誤解でした。これによりClaudeを実行するマシンがインターネットに接続された状態になっていたのです。モデル自体には、インターネットへのアクセス権がないと伝えられていました。
同社による今回の侵害の再構成は、「評価トランスクリプト」――エージェントがタスク実行中に取った行動(実行したコマンド、受け取ったレスポンス、モデル自身の解説や推論を含む)を記録したログ――に基づいています。
Anthropicの調査では、モデル自身による解説や推論が正確であることは稀だという結果が出ています。研究者らは「高度な推論モデルは、自らの本当の思考プロセスを隠すことが非常に多く、その挙動が明らかに不整合を起こしている場合でさえそうする傾向がある」と結論付けています。
3件の逸脱事例
Anthropicが「アクセス可能な対象はすべて演習の対象範囲に含まれるものだという誤った思い込み」と説明する状況に基づき、Claudeは「脆弱なパスワードや未認証のエンドポイントを悪用するといった基本的な手法」を用いて、被害を受けた3つの組織を侵害しました。
1件目のインシデントでは、評価に使われた架空の対象企業が、実在するウェブサイトと同じ名前を持っていました。
Claudeはその実在企業のインフラに存在する脆弱性を発見して悪用し、認証情報を窃取したうえで、数百行分の本番データを含むデータベースにアクセスしました。Anthropicは、影響の大きさという点でこれが3件の中で最も深刻なインシデントだったとしています。
コンピューター不正使用に関する法律の下での刑事責任の可能性に加え、本番データの窃取は、英国および欧州のデータ保護の枠組みの下でAnthropicと被害組織の双方に法的リスクをもたらします。この種の侵害は通常、規制当局への通知義務が発生するためです。Anthropicは、自社の法的リスクへの対応方針についての質問に対し、即座には回答しませんでした。
このインシデントは「モデルが実環境で稼働している可能性が高いと認識した後も攻撃を続けた唯一の事例」でした。最終的にシステムが実在するものだと認識したにもかかわらず、「2件のケースでは、モデルはその実在企業も演習の一部に違いないと自分を納得させていました。しかし、そのどちらの場合も、その理由づけを根拠に攻撃を止めることはありませんでした」。
2件目のインシデントでは、Claudeは別の架空企業のセットアップ手順が、実在しないPyPIパッケージを参照していることを発見しました。この手順に従うシステムがあれば、その名前を持つパッケージを自動的にダウンロードしてしまうことに気づいたClaudeは、これを好機と捉え、同じ名前で悪意のあるパッケージを作成・公開しました。
「Claudeはこの攻撃を実行するために、大変な労力を費やしました」とAnthropicは記しています。
PyPIアカウントを作成するには、Claudeにはメールアドレスが必要でした。メールアドレスを作成するには電話番号が必要でした。無料の電話番号サービスを見つけられなかった後、いくつかの方法で電話番号取得のための資金を得ようと試みては失敗を重ね、最終的には無料のメールプロバイダーを見つけてアカウントを登録しました。そしてマルウェアをPyPIにアップロードしたのです。
このAIは自分が使っているパッケージレジストリを演習の一部だと信じていましたが、実際にはそのパッケージは約1時間にわたって誰でも自由に入手できる状態で公開されており、その間に15の実システム上で実行されたとAnthropicは述べています。
これらのシステムのうちの1つは、セキュリティ企業のものでした。業界の他の多くの企業と同様、この会社もPyPIなどのレジストリから新規公開されたパッケージを自動でダウンロードし、マルウェアがないか検査する自動スキャナーを運用していました。
Anthropicによると、このスキャナーは当該パッケージを安全なものとしてインストール対象としてしまい、Claudeの隠しコードが実行され、同社の認証情報を収集拠点へ流出させ、Claudeはそれを使ってさらなるインフラへのアクセスを行ったとのことです。
このセキュリティ企業の身元は特定されていません。Anthropicは、Claudeがこのセキュリティ企業によって発見・侵害されるよう意図的に設計されたハニーポットのインフラとやり取りしていたのかどうかについては説明していません。なお、PyPI自体のセキュリティシステムは、その後自動的に当該パッケージを削除しています。
3件目のインシデントでは、Claudeは意図していた架空の対象企業にアクセスできなかった後、約9,000のインターネット公開対象をスキャンし、最終的にSQLインジェクションを含む基本的な手法を用いて実在企業のシステムを侵害しました。
しかし、他の2つのモデルとは異なり、このモデル――一般提供が予定されていない社内の研究用プロトタイプ――は、最終的に対象が実在するものであると自ら気づき、指示されることなく攻撃を停止しました。
責任と法的責任
Anthropicは今回の開示全体を通じて、自社のいずれのモデルも独自の目的を追求していたという証拠はないと考えている点を強調しています。いずれのケースでも、モデルは各評価が求める作業をこなしていましたが、その際、自分の置かれている環境が実環境かどうかについて誤った認識を持っていたのです。
Anthropicのモデルは、意図せず開放されたままになっていた経路を通じてインターネットにアクセスし、そこで見つけたものを演習の一部だと誤認しました。
一方、OpenAIのモデルは、これまで知られていなかった脆弱性を積極的に悪用して隔離されたテスト環境から脱出したうえで、オープンソースのAIモデルやデータセットを扱うプラットフォームであるHugging Faceを有用な標的として特定し、盗んだ認証情報と2つ目のゼロデイ脆弱性を使ってその本番インフラを侵害しました。
Hugging Faceによる、エンドツーエンドの自律型サイバー攻撃の標的になったとする最初の警告から5日後、OpenAIは自社に責任があることを認めました。さらに今週、OpenAIはその暴走したエージェントが、その後複数の追加のサードパーティサービスにも侵入していたことを明らかにしました。
Hugging Faceの共同創業者兼CEOであるClement Delangue氏は、OpenAIの開示後、この侵害の背後に「悪意はなかったと強く確信している」と述べましたが、この事件はすでに、AIシステムが意図しない被害を引き起こした場合にどのような開示義務が生じるのかという鋭い疑問を投げかけていました。
Hugging Faceはまた、自社のセキュリティチームが最先端のAIモデルを使ってこの攻撃を分析しようとした際、安全性フィルターによってエクスプロイトのペイロードや攻撃コマンドの分析がブロックされ、代わりに自前でホストするオープンウェイトモデルを使わざるを得なかったことも指摘しました。同社は「攻撃者側には利用ポリシーによる制約が一切なかった一方で、我々自身のフォレンジック作業はブロックされた」と述べています。
Anthropicは現在、独立系のAI評価組織であるMETRと協力し、すべてのトランスクリプトへのアクセスを含む、今回のインシデントに関するサードパーティによるレビューを実施していると述べています。同社は、PyPIのインシデントに関するトランスクリプトを一部編集した上で、今週中に公開する予定だとしています。
AnthropicもIrregularも、被害を受けた組織のいずれかが法的措置を検討しているかどうか、また法執行機関から接触があったかどうかについての質問には回答しませんでした。
翻訳元: https://therecord.media/anthropic-ai-hacked-three-real-companies
