AIを搭載したカスタマーサービスエージェントは、操作によって認証制御を突破され、顧客情報を漏えいさせ、フィッシングメールを送信させられ、さらにワンタイムパスコード（OTP）を流出させられる可能性があることがわかりました。
Intigritiのセキュリティ研究者であるAyoub氏とInti De Ceukelaire氏がまとめたこの調査では、カスタマーエクスペリエンスエージェントがサポート受信箱を読み取り、ナレッジベースにアクセスし、バックエンドツールを呼び出し、アカウント操作を実行できる場合に、どのようなセキュリティリスクが生じるかが示されています。
研究者らによると、これらの手法により数週末で50,000ドル以上のバグバウンティ報酬が得られたとのことで、しかも従来の脆弱性スキャナーには一切頼らなかったといいます。
大きな問題の一つは、一部のAIサポートシステムがメールの送信者情報を処理する方法にあります。あるシナリオでは、チャットボットがメールベースの会話を受け付け、表示されるFromヘッダーを使って顧客を識別していました。
攻撃者はこのヘッダーを偽装し、悪意ある指示を送り込むことで、信頼できるサポートアドレスから送信されたように見えるフィッシングメッセージをボットに送らせることが可能です。
他の事例では、メール認証とAIエージェントが解析する情報との間に食い違いが見られました。メールサーバーはSPFやDKIMによって一方の送信者情報を検証する一方、エージェントは別のヘッダーを使ってどの顧客アカウントにアクセスするかを判断していることがあります。
返信先のルーティング制御も脆弱であった場合、エージエントは被害者に紐づくアカウントデータを取得したうえで、その返信を攻撃者が管理するアドレスへ送信してしまう可能性があります。
研究者らはMFAの弱点についても報告しています。生のメール文字列を使ってレート制限をかけているAIエージェントは、メールの正規化に関する癖につけ込まれる恐れがあり、攻撃者は同一のメールボックスを狙いながら追加のOTP試行を生成できてしまう可能性があります。
同一の本人確認リクエストが、Webチャット、メール、対話型音声応答（IVR）システムのそれぞれで別々に処理される場合、サポートのワークフローにも別の弱点が生まれる可能性があります。
IVRベースのサポートシステムは、発信者番号を信頼していたり、推測可能な知識ベースの質問に依存していたり、通話をまたいでOTPを使い回していたりすると、特にリスクにさらされやすくなります。
攻撃者はチャネル間で一貫性のない検証制御を悪用することで、認証フローをリセットしたり、コードの試行可能回数を増やしたりすることができます。
もう一つ影響の大きいシナリオがサードパーティOTPの窃取です。攻撃者はまず、信頼できる送信者からのメッセージを装った指示でAIエージェントのメールコンテキストを汚染することがあります。
その後、外部サービスから正規のパスワードリセットメールが送られるよう仕向けます。エージエントがこの新しいメッセージを読み取り、仕込まれた指示に従ってしまうと、OTPを攻撃者のインフラに送信してしまい、組織のサードパーティアカウントの乗っ取りを許してしまう可能性があります。
この調査では、人間によるレビューがあっても自動的にリスクがなくなるわけではないという警告もなされています。攻撃者は「非対称」なメッセージを作成することが可能で、人間には無害なHTMLコンテンツが表示される一方、AIは別のプレーンテキストのペイロードを処理してしまうというケースです。
攻撃者はまた、引用された会話履歴を偽造したり、公開コメントを通じてRAG（検索拡張生成）のナレッジベースを汚染したり、モデルが読み込むツールのレスポンスを操作したりすることもあります。
AIサービスエージェントを導入する組織は、これらを特権を持つ自動化システムとして扱うべきです。
認可の判断を下す前に本人確認情報を正規化し、信頼できないメールコンテンツを指示から切り離し、すべてのチャネルで一貫したMFA制限を適用し、ツールの権限を制限し、ナレッジベースの情報源を検証し、プロフィール変更や返金、データエクスポート、支払いリクエストといった重要な操作の前には決定論的なポリシーチェックを義務付けるべきです。
セキュリティチームに、不審な活動をより迅速に調査し、ビジネスへの影響が拡大する前に脅威を封じ込めるための可視性とコンテキストを与えましょう。ANY.RUNで調査を強化する
