実環境で確認された攻撃、AIエージェントのMarkdownへの信頼を悪用

エンドユーザーのダウンロードフォルダにあるMarkdownファイルを悪用し、マルウェアのインストールや認証情報の窃取を狙う、新たな間接的なプロンプトインジェクション攻撃が見つかりました。

これを明らかにしたのはForever Securityです。同社は、実環境で捕捉した新たなAIエージェント攻撃の詳細を、このほど公開しました。同社の調査ブログによると、攻撃者がユーザーのダウンロードフォルダに悪意のあるファイルを仕込むと、ユーザーのエージェントがそのファイルを信頼できる指示とみなし、内容に従って動作を実行するおそれがあります。

この攻撃が注目されるのは、調査レポートで報告されてきた他のプロンプトインジェクションの脅威と異なり、研究者が概念実証として開発したものではないためです。Foreverのギャル・ワイズマン(Gal Weizman)氏とオメル・サメット(Omer Samet)氏は、このAIセキュリティ企業が「実在する顧客のマシン上で本物のマルウェアを捕捉した。業界がこれまで記録していなかった新種の攻撃であり、コードが実行される前に完全に阻止した」と記しています。

悪意のあるMarkdown

ブログの筆者らによると、Forever Securityは顧客のダウンロードフォルダで、エンジニアリングメモを装った「AGENTS.md」という悪意のあるプレーンテキストファイルを発見しました。「.md」はMarkdownファイルで、エージェントの挙動を誘導するために使われます。OpenAIのCodexやClaude Codeなど、多くのAIコーディングエージェントが信頼しています。Foreverは両方で攻撃を再現しました(最初の亜種は特にCodexを狙ったものでした)。

研究者らは、このファイルがどのようにユーザーのコンピュータに置かれたのかを正確には特定できませんでした。ただ、悪意のあるWebサイトがユーザーのコンピュータにダウンロードさせようと試みうる種類のファイルだと指摘しています。その後、そのディレクトリでコーディングエージェントを起動すると、エージェントはこの指示ファイルをプロジェクトコンテキストの一部として読み込みます。

Foreverによると、悪意のある指示によってエージェントを説得し、設定を変更させたり、後続の動作を実行させたりすることが可能です。エージェントがこうした悪意あるMarkdownを取り込むと、仕込まれたファイルによってエージェント自身の設定が書き換えられます。その結果、攻撃者がマルウェアのインストールやログイントークンの共有を指示できる状態になります。

Foreverのテストでは、Codexに対する攻撃チェーンは90%以上の確率で成功しました。Claude Codeについては成功率が約50%でしたが、いくつかの変数が結果に影響した可能性があるとしています。たとえば、Claude Codeは、最初の攻撃が標的としたCodexとはインストールパスが異なります。

「パッチを当てるべき点はない」

この攻撃が成立する条件は、ユーザーがコーディングエージェントにホームディレクトリのダウンロードフォルダへのアクセスを許可しており、そのエージェントがWebコンテンツとやり取りできることだけです。Foreverのテレメトリによると、顧客の約半数がダウンロードフォルダ内でコーディングエージェントを実行しています。また、エージェントセッションの4分の1は、実際のブラウザを開いています。

ブログ記事は次のように述べています。「OpenAIやAnthropicがパッチを当てるべき点は、ここにはない。フォルダ内のAGENTS.mdに従うエージェントは、設計どおりに動作しているだけだ。フィッシングページを表示するブラウザが仕様どおり動いているのと同じである。問題は状況にある。Webが書き込めるフォルダを、あたかもユーザー自身が作成したかのように信頼していることだ。このため、攻撃経路は開いたままになる。これは、より大きな構図の早期の一例にすぎない。人間を前提に築かれた防御は、エージェントが人間の代わりを務めると破綻する」

Forever Securityのリードリサーチャーであるワイズマン氏はDark Readingに対し、OpenAIやAnthropicなどのAI企業は「Webサイトが置ける可能性のあるファイル(ダウンロードフォルダ内など)に由来するコマンドに従うリスクを、エージェントに認識させることを検討してもよいだろう」と語りました。ただし、この研究が示す問題は「大部分が彼らのセキュリティモデルの範囲外」だとも付け加えています。

実環境で捕捉された事例では、エクスプロイトは機能したものの、Foreverのリアルタイムセキュリティ製品が後続の動作をブロックし、NPMパッケージのインストールを阻止したと、ワイズマン氏は説明します。Foreverが実環境で発見できたのは最初の1件だけですが、同社はさらなる攻撃の試みを積極的に探しているといいます。

防御側に対してForeverは、ユーザーのホームディレクトリにあるダウンロード先(~/Downloads)を「エージェントにとって敵対的な領域」として扱うよう推奨しています。デフォルトでは、Webコンテンツがコーディングエージェントに到達できる唯一の経路だからです。ユーザー自身が作成していない指示ファイルがないか確認し、エージェントの設定に予期しない変更がないか調べることも有効です。承認ゲートとサンドボックスは有効にしておく必要があります。不審な兆候が見つかった場合、組織はログイントークンが侵害されたものとみなし、認証情報をローテーションすべきだと研究者らは述べています。

翻訳元: https://www.darkreading.com/application-security/in-the-wild-attack-ai-agents-trust-markdown

本記事は darkreading.com の記事を翻訳・要約したものです。