サイバー犯罪者、間接的プロンプトインジェクション攻撃に注力

Proofpointの研究者は、サイバー犯罪者がAIシステムが日常的に処理するメール、文書、カレンダー招待、ウェブページの中に悪意のある命令を隠すために設計されたツールを開発・販売していることを発見しました。 

これにより、攻撃者はユーザーとの直接的なやり取りなしにAIエージェントを操作できる可能性があります。 

研究者は分析の中で、「こうした広告や議論は、カレンダー招待に組み込まれたIDPIやマルバタイジング攻撃チェーンへの組み込みなど、今後数カ月間に組織が目にする可能性の高い新たな手法を明らかにしています」と述べています。

プロンプトインジェクション調査の要点

• サイバー犯罪者は、メール、文書、カレンダー招待、ウェブページを通じてAIシステムを標的とするIDPIツールを開発・販売している
• IDPIは、AIエージェントが外部コンテンツを処理する際にその挙動を操作でき、直接的なユーザーの関与を必要としない場合がある
• 脅威アクターはフィッシング、悪意のある文書、カレンダー招待、マルバタイジングにおいてIDPIを試験的に運用しているが、広範な悪用は現時点では確認されていない
• 組織はAIエージェントの権限を制限し、エージェントの活動を監視し、機微な操作を管理し、プロンプトインジェクションのシナリオを想定したインシデント対応計画をテストする必要がある

拡大する間接的プロンプトインジェクションの脅威  

Proofpointの報告によると、間接的プロンプトインジェクション(IDPI)はアンダーグラウンドの犯罪フォーラムで注目を集めており、脅威アクターがAIシステムを標的とするツールの開発、テスト、宣伝を行っています。 

一部のサブスクリプション型サービスは月額約150ドルから提供されており、悪意のあるメール、PDF、カレンダー招待、ウェブページを生成するジェネレーターが含まれているとのことです。 

こうしたサービスの登場は、サイバー犯罪者がIDPIをツール化し、既存の攻撃チェーンに組み込む方法を模索し始めていることを示唆しています。

間接的プロンプトインジェクションの仕組み 

プロンプトインジェクション攻撃は一般的に2つのカテゴリーに分けられます。 

直接的プロンプトインジェクションは、ユーザーがAIモデルに直接入力を与え、意図しない、あるいは予期しない挙動を引き起こす場合に発生します。 

一方、間接的プロンプトインジェクションでは、悪意のある命令がメール、文書、カレンダー招待、ウェブページなど、AIシステムが後に処理する外部コンテンツの中に埋め込まれます。

AIエージェントがリスクにさらされる理由 

組織がAIエージェントに業務アプリケーション、企業データ、自動化されたワークフローへのアクセス権をより多く付与するようになるにつれ、この違いが重要な意味を持つようになります。 

従来のフィッシングとは異なり、IDPI攻撃は従業員が悪意のあるリンクをクリックしたり、攻撃者の指示に従ったりすることに依存しない場合があります。

AIエージェントは、メールの要約、文書のレビュー、会議招待の処理、ウェブページの閲覧といった日常的なタスクを実行している最中に、悪意のあるプロンプトに遭遇する可能性があります。 

エージェントに十分な権限が付与されている場合、攻撃者はその挙動を操作し、機密情報へのアクセスや不正な操作を行える可能性があります。

Proofpointによると、脅威アクターは現在、複数のIDPI配信手法を試験的に運用しています。

メールを利用した攻撃

メールを利用した攻撃では、メッセージの背景色に一致させたテキストを使って悪意のある命令を隠すことができます。 

受信者にとってメールは無害に見える一方で、コンテンツを処理するAIアシスタントは隠されたプロンプトを検出し、解釈してしまう可能性があります。

PDFおよび文書を利用した攻撃

PDFおよび文書を利用した攻撃では、隠しテキストや埋め込み要素などの手法を使って、添付ファイルの中に命令を埋め込みます。 

Proofpointは、AIエージェントにXLSXファイルを探し出して送信させようとする命令を含んだPDFを使ったテストを観測しています。 

こうした手法は、通常の文書閲覧時には見過ごされる場合でも、AIシステムが処理し得る場所に命令を配置するよう設計されています。

カレンダー招待を利用した攻撃

カレンダー招待を利用した攻撃では、議題の一部として提示されるコンテンツを含め、会議招待の中に悪意のあるプロンプトを配置します。 

招待の要約を任されたAIアシスタントは、受信者が意図的に関与しなくても、その命令を処理してしまう可能性があります。 

この手法は、フィッシングにカレンダー招待を悪用するという攻撃者の既存の手口を土台としつつ、標的の一部を従業員から招待を処理するAIシステムへとシフトさせるものです。

マルバタイジングおよび悪意のあるウェブページを利用した攻撃

マルバタイジングおよび悪意のあるウェブページを利用した攻撃は、広告やウェブサイトのコンテンツに埋め込まれたプロンプトにAIエージェントをさらす可能性があります。 

攻撃者は、HTML内への命令の配置、極端に小さい文字、隠されたページ要素、画像のalt属性テキストなど、人間の訪問者にはほとんど見えなくてもAIエージェントには処理され得る手法を模索しています。

研究者によると、これらの手法はまだ広範な悪用には至っておらず、いくつかは依然として実験段階にあります。  

しかし、専用のIDPIツールの開発・販売は、これまでほぼ仮説にとどまっていた攻撃シナリオから、サイバー犯罪者による実践的な試行へという重要な転換を示すものです。 

AIエージェントが企業システムへの統合を深めるにつれ、組織は攻撃者がIDPIを攻撃キャンペーンに組み込むことに備えるべきです。 

間接的プロンプトインジェクションのリスクを低減する 

AIエージェントを導入する組織は、自組織の環境外から来るコンテンツには敵対的な命令が含まれている可能性があると想定すべきです。  

• エージェントの権限を制限することです。AIエージェントには、意図されたタスクに必要な範囲のアクセス権・権限のみを付与します。
• 信頼できる命令と外部コンテンツを分離することです。メール、文書、ウェブページ、カレンダー招待は、信頼できない入力として扱います。
• 機微な操作には承認を必須とすることです。ファイル送信、権限変更、データ削除、外部への転送開始などが該当します。
• 外部との通信を管理することです。AIエージェントを承認済みのドメイン、API、アプリケーション、ファイル共有サービスに限定します。
• エージェントの活動を監視することです。不審なファイルアクセス、外部への接続、データ転送、ツールの使用、自動化された操作を対象とします。
• 機密データを保護することです。セグメンテーションとデータ損失防止(DLP)制御により、AIエージェントがアクセス・送信できる範囲を制限します。
• インシデント対応計画をテストすることです。プロンプトインジェクションやその他のAIを悪用した攻撃を想定したシナリオで、攻撃シミュレーションツールを活用します。

これらの対策を組み合わせることで、組織は全体的なリスクエクスポージャーを低減し、レジリエンスを強化できます。 

結論

より差し迫った懸念は、セキュリティチームが既に管理している攻撃チェーンの中に、IDPIがどれほど速やかに実装され得るかという点です。 

アンダーグラウンドのツール類が参入障壁を下げつつある中、組織は、AIエージェントを標的とする悪意のある命令を検知・封じ込める上で既存の管理体制が十分かどうかを評価する必要があります。 

また、意図された範囲を逸脱して動作し始めたエージェントを調査する上で、現在のテレメトリが十分な可視性を提供しているかどうかも見極める必要があります。 

アクセスを継続的に検証し、企業システムやデータ全体にわたってAIエージェントの権限を制限するゼロトラストアプローチは、組織がこうしたリスクの一部を低減する上で役立ちます。