AIエージェントを乗っ取る「見えない指示」

それらは目に見えず、さまざまな目的に合わせて仕立てることができ、いったん取り込まれると瞬時に作動します。

隠されたAIプロンプトインジェクションは間接プロンプトの一種ですが、人間の目視確認からは隠されているという特有の性質を持っています。ユーザーがAIチャットボットを直接操作しようとする従来型のプロンプトインジェクション攻撃とは異なり、間接プロンプトインジェクションはAIエージェントが取り込む情報そのものを標的にします。Bowbridgeは、これが自律型エージェントにとって拡大しつつあるリスクだと懸念を示しています。

「企業がAIエージェントの導入を急速に進める中、こうしたシステムは機密情報や社内文書、業務ツールへのアクセス権を与えられる機会が増えています。これは業務効率化という大きな機会を生み出す一方で、従来のセキュリティ対策では検知できない新たなサイバーセキュリティの脅威をもたらします」と同社は指摘します。例えば、こうした脅威には従来型のアンチウイルス製品がディスク上で検知できるマルウェアのような「指紋」がありません。

隠されたプロンプトインジェクションは、自律型エージェントが動作中に読み込む可能性のある外部文書に埋め込まれています。この点で、信頼された第三者環境を侵害する水飲み場型攻撃と似ていますが、人間の訪問者ではなくAIエージェントを標的にしている点が異なります。

悪意ある指示は、ごく普通のコンテンツの中に隠すことができ、AIエージェントに攻撃者が仕込んだコンテンツを信頼できる指示として扱わせてしまう、とBowbridgeは警告しています。こうしたプロンプトが隠される場所の例としては、文書やファイルのメタデータ、メールやオンラインコンテンツ、画像や埋め込みコンテンツ、コードリポジトリや開発者のワークフローなどが挙げられます。

悪意あるインジェクションは、エージェント型システムを本来の用途を超えて、ガードレールの外側で動作させてしまう可能性があります。

これが危険なのは、現代の自律型エージェントシステムが一般的にユーザーの権限をそのまま継承し、マシン並みの速度で静かに動作し、人間のような判断力や推論能力を持たず、単に指示に反応するだけだからです。

よくあるエージェントの例として、エグゼクティブアシスタントを考えてみましょう。エグゼクティブアシスタントが有効に機能するためには、経営幹部が通常やり取りするのと同じファイルやデータベース、すなわちメール、カレンダー、スタッフ情報、社外との会議などへのアクセス権を与えられている必要があります。もしこのエージェントが悪意あるインジェクションプロンプトに屈してしまえば、悪意ある攻撃者はファイルをさらに汚染したり削除したりするほか、機密データを攻撃者が管理するC2サーバーへ持ち出すこともできてしまいます。

「エージェント型AIには企業の業務を変革する大きな可能性がありますが、組織はこうしたシステムが必ずしも信頼できるとは限らない情報源からの情報を処理しているという事実を認識する必要があります。ユーザーには無害に見える文書であっても、AIエージェントの挙動に影響を与えるよう仕組まれた隠し指示が含まれている場合があります」と、BowbridgeのCTO兼共同創業者であるJörg Schneider-Simon氏はコメントしています。

同社は実際の事例として、サプライヤーの見積もりを確認し最安のものを特定するようAIエージェントに依頼したケースを挙げています。「悪意あるサプライヤーの見積書には、文書のメタデータ内に隠し指示が仕込まれており、それまでの指示を上書きしてそのサプライヤーを選ぶようAIエージェントに指示していました。最も高額な見積もりだったにもかかわらず、AIエージェントはそれを推奨してしまいました。信頼できるシステム指示と信頼できない文書コンテンツを区別できなかったためです」と同社は説明しています。

汚染された自律型AIエージェントが行動を起こすのを事前に防ぐ時間や機会はほとんど、あるいは全くないため、防御は行動そのものを阻止することよりも、汚染そのものを防ぐことに重点を置くべきです。（とはいえ、エージェントと資産の間に介在し、あらゆる有害な行動をブロックするよう設計された新しい製品もいくつか登場しています。それでもなお、「予防は治療に勝る」という古い格言を軽視すべきではありません。これは潜在的に100%の成功率を持ち得るものだからです。）

Bowbridgeは、エージェントによって処理される前に文書をスキャンすること、ファイルやメタデータ、文書構造内に隠されたコンテンツを検知する技術を用いること、そして利用可能なAIセキュリティフレームワークを適用することを推奨しています。

「エージェント型AIの台頭は、組織がサイバーセキュリティにどう取り組むかという点で大きな転換を意味します。AIシステムが企業のワークフローにますます組み込まれていく中で、それらが取り込むコンテンツを保護することは、業務アプリケーションのセキュリティ確保における重要な要素となるでしょう」と同社は警告しています。