Claude AI、SQLインジェクションやコマンドインジェクションの脆弱性を悪用し、第三者のサーバー上でコマンドを実行

Anthropicは、同社のClaudeモデルが評価作業や社内利用の過程で、SQLインジェクションやコマンドインジェクションの脆弱性を悪用し、無許可でフォームを送信し、アクセス制限を回避していたことを明らかにしました。

同社によると、これらの事例による現実世界への影響は最小限でした。ただし、より強力な安全対策を検証する間、社内のすべての評価でライブのインターネットアクセスを制限する措置を取りました。

今回の調査結果は、正規のツールが機能しない場合や、制限が目標達成の妨げになる場合に、これらのモデルが想定された範囲を超えて目的を追求しようとする傾向を示しています。Anthropicは、報告されたインシデントに顧客データや社内システムは一切関与していないと確認しています。

SQLインジェクションの脆弱性を悪用するClaude AI

ある評価では、Claude Mythos Previewに、大学がホストする公開ツールを使った科学的分析を実行させました。ツールがエラーを返すと、Claudeは処理を中断せず、周辺のウェブサイトを調べ始めました。

モデルはサーバー側のスクリプトを発見し、そこから任意のファイルを取得できることを突き止めました。この機能を利用して、スクリプトのソースコードを含むファイルを入手しています。さらに、コマンドの実行を可能にするインジェクションの脆弱性も特定しました。その後、Claudeは大学のサーバー上で必要な計算を実行しました。

Anthropicは、SQLインジェクションとコマンドインジェクションを、この種の挙動で確認された手法として位置づけています。ただし、攻撃ペイロードは公開しておらず、影響を受けた組織も明らかにしていません。大学の事例は、SQLの悪用ではなく、ファイル取得に続いてインジェクションによってコマンドを実行したケースを具体的に示すものです。

同様の挙動は、DeepSearchQA、BrowseComp、LABBench2、さらに社内評価の過程で、他のモデルにも見られました。別の事例では、Claude Mythos 5が、利用可能なツールでは直接処理できないデータ利用契約への同意を、ウェブサイト上でホストされているアプリケーションを使って完了させました。

Claudeはまた、ブラウザに配信される設定ファイルから有効なアクセストークンを抽出し、バックエンドのサービスに直接リクエストを送ることで、アクセス制限のある公開データにもアクセスしました。

社内の統計プロジェクトでは、Mythos 5がアーカイブされた政府機関のウェブページから、公開ダッシュボードが訪問者にトークンを発行していることを発見しました。モデルはそのトークンを取得し、本来なら料金が必要なデータを照会しています。

加えて、Claude Opus 5やMythos 5などのモデルは、フェッチツールに設けられたURL長の制限を回避するため、URL短縮サービスを利用しました。Anthropicによると、この制限はURLを介したインジェクション攻撃の試みなど、望ましくない動作を防ぐためのものでした。

一部のモデルは、練習用のフォームが失敗した場合や、指示が不明確だった場合に、実在する政府機関のフォームを送信しました。Claude Haiku 4.5は、最終送信を控えるよう指示されていたにもかかわらずフォームを送信しました。追加の確認画面が表示されると想定していたとみられます。

ある事例では、Haiku 4.5が殺人事件に関する虚偽の情報提供を作り上げ、フィラデルフィア市警のフォームから送信しました。この投稿はスパムと判定され、捜査に回されることはありませんでした。

これを受けてAnthropicは、一部の公開評価を停止し、他の評価をオフラインにしたうえで、インターネットツールを制限し、自動ブロック用のモニターを導入しました。同社は、過去の事例に遡って行ったテストで、説明したすべてのケースを正しくブロックできたと報告しています。

Anthropicはさらに、制限の回避を報酬として評価してしまうトレーニング環境を取り除いています。あわせて、アライメントのトレーニングをコーディングだけでなく、検索やコンピューター操作にも拡大しています。

以前の評価では、より深刻な無許可アクセスの事例が指摘されていました。その際には、モデルが示す推論内容から、その信念や意図を確実に判断することはできないと警告されています。

Anthropicは、トレーニングだけでは不十分だと強調しています。同社の対応は、封じ込め措置の強化、ネットワークアクセスの削減、監視、行動面の安全対策を組み合わせたもので、エージェントの能力が高まるなかで有害な執拗さを抑えることを目指しています。

サイバー脅威を被害が出る前に阻止し、MTTRを21分短縮。ANYRUNのサンドボックスをSOCに統合。