人工知能アシスタントは、組織がコミュニケーションを管理する方法を急速に変えています。
Microsoft Copilotのようなツールは、従業員が長いメールを要約し、会話を分析し、OutlookやTeamsなどのMicrosoft 365アプリケーションから重要な情報を抽出するのを支援します。
これらの機能は生産性を向上させる一方で、セキュリティ研究者は、これと同じ機能が攻撃者によって悪用され、非常に説得力のあるフィッシング攻撃が行われる可能性があると警告しています。
セキュリティ企業Permisoの最近の調査では、Microsoft Copilotのメールとメッセージ要約機能に脆弱性があることが明らかになりました。この脆弱性により、攻撃者はメール内に埋め込まれた隠れた指示を使用して、AI生成の応答を操作することができます。
クロスプロンプトインジェクション攻撃（XPIA）として知られるこの技術は、AIをだまして、ユーザーには見えない悪意のある指示を実行させます。
この脆弱性はCopilotのメールと会話を要約する能力を標的としています。通常、Copilotはメッセージのコンテンツを読み、ユーザーのための簡潔な要約を生成します。
しかし、研究者は攻撃者が単純なHTMLまたはCSSフォーマット技術を使用してメール内に悪意のあるプロンプトを隠すことができることを発見しました。
これらの隠れたプロンプトは人間の読み手には見えませんが、それでもAIモデルによって要約中に処理されます。
その結果、Copilotは攻撃者の隠れた指示を正当なシステムガイダンスとして解釈する可能性があります。
テストシナリオでは、研究者はAIがCopilot要約パネル内で偽のアラート、セキュリティ警告、またはフィッシングメッセージを生成するように操作されることを示しました。
例えば、攻撃者は「異常なアカウント活動が検出されました。
直ちにあなたの身元を確認してください」などのメッセージを追加するようCopilotに指示する隠れたプロンプトを含む、一見無害に見えるメールを送信することができます。Copilotによって生成された要約は、攻撃者が制御する悪意のあるリンクを含むことができます。
これらの矛盾は、信頼できないコンテンツを解釈するAI駆動インターフェースを保護することの課題を浮き彫りにしています。
この脆弱性の最も危険な側面の1つは、研究者が「信頼転送」と呼ぶものです。ユーザーは一般的にメール内に直接埋め込まれたリンクに対して疑いを持つように訓練されています。
しかし、Copilotのような信頼できるアシスタントによって生成された、きれいなAI生成の要約に同じリンクが表示されると、ユーザーはそれを正当なものと認識する可能性があります。
これにより、被害者がAI生成の要約によって提示された悪意のあるリンクをクリックするか、偽の指示に従う可能性が劇的に増加します。
フィッシング以上に、この脆弱性は機密データの流出につながる可能性があります。Microsoft 365 Copilotは、Teamsチャット、SharePointドキュメント、およびOneDriveファイルなどの組織リソースにアクセスできます。
悪意のあるプロンプトインジェクションは、Copilotに内部情報を取得し、攻撃者が制御するインフラストラクチャにデータを指向するリンクまたは要約に埋め込むように指示する可能性があります。
ユーザーが生成されたコンテンツと相互作用する場合、機密情報が意図せずに公開される可能性があります。
セキュリティチームは、いくつかの防衛的な措置を実装することにより、AI支援フィッシングのリスクを軽減することができます。
AIアシスタントが職場のコミュニケーションプラットフォームに深く統合されるにつれて、組織はこれらのツールが新しい攻撃対象領域も導入していることを認識する必要があります。
Copilotプロンプトインジェクションの問題は、敵対的な操作に対してAIワークフローを保護する必要性の高まりを強調しています。
翻訳元: https://cyberpress.org/microsoft-copilot-flaw/