ウェブセキュリティ企業Radwareの研究者は最近、ChatGPTを利用したサーバーサイドのデータ窃取攻撃手法を発見したと発表しました。
この攻撃はShadowLeakと名付けられ、複雑なタスクのためにマルチステップのリサーチを行うよう設計されたChatGPTのDeep Research機能を標的としたものです。Radwareから通知を受けたOpenAIは、ShadowLeakを無効化しました。
ShadowLeak攻撃は、ユーザーの操作を一切必要としません。攻撃者は、Deep Researchエージェントが処理する際に、貴重なデータを密かに収集し攻撃者に送信するよう指示する特別に細工されたメールを送るだけでよいのです。
しかし、多くの他の間接的なプロンプトインジェクション攻撃とは異なり、ShadowLeakはChatGPTクライアントを介しませんでした。
最近、複数のサイバーセキュリティ企業が、攻撃者がAIアシスタントと企業ツールの統合を利用して、被害者の操作がほとんど、あるいは全くなくてもユーザーデータを密かに流出させる理論的な攻撃を実証しています。
Radwareは、ZenityのAgentFlayerやAim SecurityのEchoLeak攻撃を挙げています。しかし、同社はこれらがクライアントサイドの攻撃であるのに対し、ShadowLeakはサーバーサイドで発生することを強調しています。
従来の攻撃と同様に、攻撃者はターゲットユーザーにとって無害に見えるメールを送信しますが、その中にはChatGPTへの隠された指示が含まれています。ユーザーがチャットボットにメールの要約や受信トレイ内のトピックの調査を依頼した際に、悪意ある指示が発動します。
クライアントサイド攻撃とは異なり、ShadowLeakは攻撃者が管理するURLへのリクエストのパラメータを通じてデータを流出させます。Radwareは、パラメータ値が流出情報となる「hr-service.net/{parameters}」のような無害に見えるURLを例として挙げています。
広告。スクロールして続きをお読みください。
「このウェブリクエストはOpenAIのクラウドインフラで実行されるエージェントによって行われるため、漏洩はOpenAIのサーバーから直接発生します」とRadwareは指摘し、この攻撃はリクエストやデータがChatGPTクライアントを通過しないため明確な痕跡が残らないと述べています。
攻撃者のプロンプトは、情報を収集して攻撃者に送信するだけでなく、チャットボットに必要なタスクを実行するための完全な権限があることを伝え、緊急性を持たせるよう巧妙に設計されています。
プロンプトはまた、もし失敗しても複数回試行するようChatGPTに指示し、悪意ある指示の実行例を示し、流出データが既に公開されているものであり攻撃者のURLが安全であるとエージェントを納得させることで、セキュリティチェックを回避しようとします。
Radwareはこの攻撃手法をGmailに対して実証しましたが、Deep ResearchはGoogle Drive、Dropbox、Outlook、HubSpot、Notion、Microsoft Teams、GitHubなど他の広く使われている企業向けサービスにもアクセス可能であると述べています。
OpenAIは6月18日にこの攻撃について通知を受け、8月初旬には脆弱性が修正されました。
Radwareはこの攻撃が既に無効化されたことを確認しています。しかし同社は「まだ未発見のかなり大きな脅威の範囲が残っていると考えている」とSecurityWeekに語っています。
このような攻撃を防ぐため、セキュリティ企業はエージェントの行動を継続的に監視することを推奨しています。
「エージェントの行動と推定される意図の両方を追跡し、それらがユーザーの本来の目的と一貫しているかを検証します。この整合性チェックにより、たとえ攻撃者がエージェントを誘導した場合でも、正当な意図からの逸脱をリアルタイムで検出しブロックできます」と説明しています。
翻訳元: https://www.securityweek.com/chatgpt-deep-research-targeted-in-server-side-data-theft-attack/