MicrosoftとSalesforceのAIエージェントは、機密顧客データとビジネスデータを漏らすよう仕向けられる可能性がある。
DC Studio / Shutterstock
AIエージェントはエンタープライズ向けに業務プロセスを最適化できることが知られています。しかし、Capsule Securityのセキュリティ研究者らが発見したように、データ流出も可能です。彼らはMicrosoft Copilot StudioとSalesforce Agentforceの両方でプロンプトインジェクションの脆弱性を発見しました。
いずれの場合も、これらの脆弱性により、攻撃者は一見無害なプロンプトを通じて悪意のあるコマンドを挿入でき、深刻な結果をもたらす可能性があります。
Microsoftの「ShareLeak」と名付けられたこの問題は、Copilot StudioのエージェントがSharePointフォームを処理する方法に起因しています。攻撃は、標準的なフォームフィールド（例：「コメント」）に挿入された改ざんされたペイロードから始まります。これは後に、運用コンテキストの一部としてAIエージェントに流入します。AIシステムがユーザー入力とシステムプロンプトを結合するため、「注入された」ペイロードはエージェントの元の指示を上書きします。AIモデルは攻撃者の指示を正当なシステム指示として扱い、有害な入力がエージェントによって何の抵抗もなく実行されます。
これにより、エージェントが上記の方法で侵害されると、以下のことが可能になります：
- 接続されたSharePointリストにアクセスする、
- 機密顧客データを抽出する、および
- これをメールで送信する。
研究者らが判明した通り、Microsoftのセキュリティメカニズムが疑わしい動作を報告した場合でさえ、データが流出していました。「根本的な原因は、信頼されたシステム指示と信頼されないユーザーデータの間に確実な分離がないことです。既存の構成では、AIはこの違いを区別することができません」とセキュリティの専門家は述べています。
Microsoftは一方、この問題を修正するパッチを公開しています。セキュリティ脆弱性はCVSSスケールで7.5/10の重大度でランク付けされています。ユーザー側では追加の対応は必要ありません。
リードフォームがAgentforceを乗っ取る
Salesforce Agentforceの場合、Capsuleの研究者らは公開アクセス可能なリードフォームに悪意のある指示を埋め込むことができ、その後「エージェントフロー」を通じてメール機能で実行されました。内部ユーザーが後でAgentforceエージェントにこのリードをチェックまたは処理するよう指示した場合、エージェントは指示を実行し、機密データを流出させます。「これは不正なデータの開示およびCRMデータの大量流出をもたらす可能性があります」と研究者は述べています。
大量流出が起こるのは、侵害が単一のデータセットに限定されないためです：Capsuleの専門家によると、乗っ取られたエージェントは複数のリードレコードを同時にクエリして流出させることができ、単一のフォーム送信が実質的にデータベース抽出パイプラインになる可能性があります。研究者によると、Salesforceはプロンプトインジェクション問題を認識していますが、流出ベクトルを「設定固有」に分類し、オプションの人間によるループチェック機能を参照しています。Capsuleのセキュリティ研究者はこの主張に異議を唱え、手動承認が自律型エージェントの実際の目的を損なうと主張しています。
研究者によると、実際の問題は安全でないデフォルト設定です。自動化の目的で設計されたシステムは、信頼されない入力がエージェントの目的を再定義することを許可するべきではありません。
企業が取るべき対策
両方のセキュリティ脆弱性は根本的な前提に帰結します：すべての外部入力は信頼できないものとして扱うべきです。また、データと指示を分離するフィルタを実装することをお勧めします。これは、以下の対策の実施も意味するでしょう：
- 入力検証、
- 最小権限アクセス、および
- 送信メールなどの厳格な制御措置。
(fm)
翻訳元: https://www.csoonline.com/article/4160426/copilot-agentforce-offen-fur-prompt-injection-tricks.html
