CrowdStrikeは、人工知能に対する攻撃の重大分類を拡大しました。悪意のある攻撃者は、AIプロンプトに有害な指示を直接注入するケースが頻発しています。そのため、セキュリティ専門家は最近、この広範なデータベースに18種類の新たな手法を追加しました。その結果、包括的なリストには200種類を超える独自の脅威手法が含まれることになりました。この大幅な更新は、AIに対する攻撃がいかに急速に進化しているかを示しています。さらに、自律型AIエージェント内に存在する深刻な脆弱性も浮き彫りにしています。これらの高度なエージェントは、機密データや外部サービス、業務に不可欠なツールに常時アクセスしています。CrowdStrikeによる最近のブログ投稿では、新たなプロンプトインジェクション手法が詳細に解説されています。
間接的インジェクションという見えにくい脅威
最も重大な危険は、攻撃者が指示を間接的に注入する場合に発生します。悪意のある攻撃者がAIシステムに直接語りかける必要はほとんどありません。代わりに、有害なコマンドは単純な電子メールやCRMレコードの中に容易に隠されることがあります。また、通常の文書添付ファイルや一般的なウェブページの中に潜んでいることもあります。AIエージェントは後になって、この汚染された情報源を完全に安全な標準データとして処理してしまいます。このシナリオでは、ユーザーは全く無害な質問をするだけかもしれません。しかし、脆弱性のあるモデルは、操作された周辺コンテキストから隠されたコマンドを受け取ってしまうのです。
遅延ルールとステルス性の高いトリガー
新たな手法の中で、CrowdStrikeは特に「遅延ルール」を強調しています。攻撃者は、当初は完全に休眠状態のままとなる指示を巧妙に埋め込みます。この指示は、特定の単語やイベント、あらかじめ定められた条件が発生した場合にのみ発動します。当然ながら、この隠密な手口は通常のセキュリティ検査では検知がはるかに困難です。悪意のある挙動は後になって作動し、エージェントを強制的に操作する可能性があります。例えば、AIが機密データを予期せず転送したり、重要なセキュリティ制限を回避したりすることが考えられます。
防御的なシステム文言の抑制
もう一つの高度な手法は、防御的なAIの文言を積極的に抑制するものです。攻撃者は、モデルが特定の安全用語を使用することを禁じようとします。こうした構造的な安全対策は通常、AIが本質的に危険なユーザー要求を拒否する助けとなります。さらに、システムがユーザーに潜在的なセキュリティリスクを警告することも可能にしています。この標的型の手法は、必ずしもシステム侵害を完全に成功させるものではありません。しかし、時間の経過とともに標準的な防御応答を著しく弱体化させる可能性があります。その結果、システム全体の挙動が極めて予測不可能かつ脆弱なものになってしまいます。
高度な回避手法:コマンドの分割化とマーカー偽造
さらに、別の手法ではコマンドを悪意のある形で、より小さな断片へと分割します。個々の単語や文字、ルールはそれぞれ単独では完全に安全に見えます。しかし、モデルは後でそれらを再構成するよう厳密な指示を受け取ります。そしてモデルは、即座の警告を発することなく、結果として生じる悪意ある意図を実行してしまいます。この巧妙な手法により、攻撃者は単純なシグネチャベースのセキュリティフィルターを容易に回避できます。こうした基本的なフィルターは通常、明らかに危険な文言のみをチェックする仕組みだからです。
重要なシステムマーカーの偽造
CrowdStrikeはまた、サイバー犯罪者が重要なシステムマーカーを巧妙に偽造する手口についても説明しています。多くのAIシステムは、開発者からのコマンドとユーザーのプロンプトを、特別な内部境界を用いて区別しています。これらのシステムは、機能的な秩序を維持するために特定のシステム指定に大きく依存しています。攻撃者がこれらの重要な要素を平文の中で模倣した場合、完全な混乱が生じます。脆弱性のあるモデルやアプリケーションは、信頼できない外部データを重要なシステム指示と容易に混同してしまう可能性があります。
企業セキュリティチームへの影響
専任のセキュリティチームにとって、最終的な結論は不愉快ではあるものの、極めて明確です。彼らは、ユーザーからの直接的なプロンプトだけでなく、はるかに広い範囲を積極的に検査しなければなりません。ファイルや電子メール、エージェントのメモリ、外部ツールからの応答は、いずれも危険なコンテキストを瞬時に持ち込む可能性があります。ウェブサイトのコンテンツやAPI、企業のクラウドサービスも、これと非常によく似たセキュリティリスクをはらんでいます。単純な「プロンプトインジェクション」というラベル付けだけでは、もはや複雑な攻撃チェーンを解きほぐす助けにはなりません。攻撃者が複数の回避手法をシームレスに組み合わせた場合、この現実は特に顕著になります。
CrowdStrikeは、現代の企業は包括的な運用可視性を維持しなければならないと強く確信しています。企業は、従業員が実際にどのAIモデルやエージェントを使用しているかを正確に把握する必要があります。さらに、組織はシステム内を流れるプロンプトと応答を継続的に追跡しなければなりません。機密データがどこに現れ、エージェントがどのようなコマンドを実行しているかを正確に監視する必要があります。この重要な可視性がなければ、ネットワーク防御担当者は深刻かつ継続的な不利な立場に置かれることになります。日常的なデータの中に隠された巧妙な攻撃を、通常のAI運用と区別することはほぼ不可能になるでしょう。
翻訳元: https://meterpreter.org/new-prompt-injection-techniques/