Microsoft Copilot メールと Teams 要約機能の欠陥がフィッシング攻撃への扉を開く

人工知能アシスタントは日常的なビジネス業務を変革し、チームが溢れんばかりのメールボックスを管理し、複雑なコミュニケーションを要約するのを支援しています。

Microsoft Copilot はこれらのワークフローに直接統合され、さまざまなMicrosoft 365 アプリケーションからコンテキストを引き出して、タスクを効率化します。

しかし、この利便性は新しいセキュリティ上の課題をもたらします。攻撃者がメール内に書き込んだ隠された指令に Copilot が従ったらどうなるでしょうか?

クロスプロンプトインジェクション攻撃(XPIA)として知られるこの手法は、脅威アクターが信頼されている Copilot インターフェース内で非常に信じやすいフィッシングコンテンツを生成することを可能にします。

Permiso による最近のセキュリティ研究はメールに追記された攻撃者が制御するテキストが Copilot の出力を操作できる欠陥を明らかにしています。

クロスプロンプトインジェクション (XPIA)

メール要約は活発な攻撃対象となっています。Copilot がメールを処理する際、正当なメッセージ本文と、システム指令として機能するように設計された隠された信頼できないテキストを区別できない場合があります。

攻撃者は基本的な HTML または CSS トリックを使用してメール本文内に悪意のあるプロンプトを隠します。人間の読者には完全に通常のメッセージに見えますが、基となる AI モデルは隠された指令を読み込み、要約プロセス中にそれを実行します。

テストにより、Copilot の動作とセーフガードは使用される特定の Microsoft インターフェースに応じて大きく異なることが明らかになりました:

  • Outlook「要約」ボタン: このインラインインターフェースは多くの場合、疑わしいコンテンツを検出し、従うことを拒否します。ただし、悪意のあるプロンプトがより長い現実的なテキストで埋められている場合、時々フィルターをバイパスして攻撃者が提供するアーティファクトを含めます。
  • Outlook Copilot ペイン: このサイドパネルチャットアドインは一般的により慎重で、注入されたブロックを無視するか、完全に応答することを拒否することが多くあります。
  • Teams Copilot: テストでは、Teams インターフェースが最も協調的であることが判明し、多くの場合、攻撃者の隠された指令が最後にシームレスに組み込まれた通常のように見える要約を生成しました。

この脆弱性の主な危険は「信頼の移転」です。長年にわたり、ユーザーは生のメールに含まれる疑わしいリンクに対して非常に懐疑的であるようにトレーニングされてきました。

Image

しかし、その同じ悪意のあるリンクまたは偽の「アクション必須」セキュリティアラートが Copilot の洗練されたシステム生成要約パネル内に表示されると、ユーザーの懐疑心は劇的に低下します。

Image

これは非常に効果的なモデル媒介フィッシング手法を作成します。攻撃者は隠されたプロンプトを含む無害に見えるメールを送信します。

被害者が「要約」をクリックすると、Copilot は攻撃者のフォーマット意図に従い、クリック可能なリンクを含む偽のセキュリティ通知を生成します。

信頼されている AI アシスタントが警告を表示するため、被害者はそれを信じてアクションを起こす可能性がはるかに高くなります。

リスクは単純な認証情報フィッシングを超えて、潜在的なワンクリックデータ流出にまで及びます。

Microsoft 365 Copilot は Teams の会話、OneDrive ファイル、SharePoint ドキュメントにアクセスできるため、攻撃者が注入したプロンプトは AI に機密内部データを取得するよう指示できます。

AI はこの機密情報を要約内に提示される攻撃者が制御するリンクに埋め込むことができます。ユーザーが一見正当な「ID を確認」ボタンをクリックすると、内部コンテキストが静かに攻撃者のインフラに送信されます。

軽減と防御戦略

AI を媒介とするフィッシングと XPIA の脆弱性から身を守るために、セキュリティチームは次の技術的軽減策を検討する必要があります:

  • AI が生成した要約は外部ソースによって操作される可能性があり、生のメールと同じ懐疑心で扱う必要があることについて従業員に教育してください。
  • 厳密なデータ損失防止 (DLP) ポリシーと感度ラベルを実装して、Copilot がアクセスして要約することを許可される機密情報を制限してください。
  • 異常なクロスアプリデータ取得パターンを監視します。特に、外部メールコンテンツからトリガーされた Copilot の検索に注意してください。
  • プロンプトインジェクション試行に頻繁に使用される隠された HTML/CSS テキストブロックを検出して削除するための堅牢なメールフィルタリングルールを適用してください。
  • AI チャットインターフェースからリンクが発信された場合でも、認識されないドメインへのアウトバウンド接続をブロックするための厳密な Safe Links と Web フィルタリングポリシーを適用してください。

翻訳元: https://gbhackers.com/microsoft-copilot-email-and-teams-summarization-flaw/

ソース: gbhackers.com