Microsoft CopilotへのAI攻撃は、たった1回のクリックでユーザーを侵害――判明していること

Image

  • Varonisが、悪意あるURLパラメータを介した新しいプロンプトインジェクション手法「Reprompt」を発見。
  • 攻撃者は、1回のクリックだけでGenAIツールをだまして機密データを漏えいさせる可能性があった
  • Microsoftは欠陥を修正し、URL経由のプロンプトインジェクション攻撃をブロックした

セキュリティ研究者のVaronisは、Microsoft Copilotにおいて、隠しプロンプトを含むメールを送ったり、侵害されたWebサイトに悪意あるコマンドを隠したりすることなく、プロンプトインジェクション型の攻撃を実行できる新手法Repromptを発見しました。

他のプロンプトインジェクション攻撃と同様に、これもたった1回のクリックで成立します。

プロンプトインジェクション攻撃とは、その名のとおり、サイバー犯罪者が生成AIツールにプロンプトを注入し、ツールをだまして機密データを吐き出させる攻撃です。これは主に、ツールが「実行すべきプロンプト」と「読み取るべきデータ」をまだ適切に区別できないことによって可能になります。

URLを介したプロンプトインジェクション

通常、プロンプトインジェクション攻撃は次のように機能します。被害者が、GenAIが組み込まれたメールクライアント(たとえばGemini搭載のGmail)を使用しているとします。その被害者のもとに、一見無害に見えるメールが届きますが、その中には隠された悪意あるプロンプトが含まれています。これは、白い背景に白い文字で書いたり、フォントサイズを0に縮めたりして隠すことができます。

被害者がAIにメールを読ませるよう指示すると(たとえば要点の要約や、通話招待の有無の確認など)、AIは隠されたプロンプトも読み取り、実行してしまいます。そうしたプロンプトは、たとえば受信箱から機密データを攻撃者が管理するサーバーへ流出させる、といった内容になり得ます。

今回、Varonisはこれに似たもの――URLを介したプロンプトインジェクション攻撃――を見つけました。彼らは、正規のリンクの末尾に、qパラメータの形で詳細な指示を長々と追加します。

このようなリンクは次のようになります: http://copilot.microsoft.com/?q=Hello

Copilot(および他の多くのLLMベースのツールの多く)は、qパラメータ付きのURLを、ユーザーがプロンプトに入力するテキストと同様の入力として扱います。彼らの実験では、被害者が事前にAIと共有していた機密データを漏えいさせることができました。

Varonisはこの調査結果をMicrosoftに報告し、Microsoftは先週初めにこの穴を塞いだため、URL経由のプロンプトインジェクション攻撃はもはや悪用できなくなりました。

翻訳元: https://www.techradar.com/pro/security/microsoft-copilot-ai-attack-took-just-a-single-click-to-compromise-users-heres-what-we-know

ソース: techradar.com