主要な企業向けAIアシスタントがデータ窃取や改ざんに悪用される可能性

AIセキュリティスタートアップのZenityの研究者たちは、広く利用されている複数の企業向けAIアシスタントが、脅威アクターによってデータの窃取や改ざんに悪用される可能性があることを実証しました。

Zenityの研究者たちは、水曜日にBlack Hatカンファレンスでその調査結果を発表しました。彼らは、AIアシスタントがどのようにして攻撃者の意図通りに利用され得るか、場合によってはユーザーの操作なしで悪用される例をいくつか紹介しました。

企業向けツールは生産性向上のために生成AIとますます統合されていますが、これにより脅威アクターにとって非常に価値の高いサイバーセキュリティ上の穴も生まれています。

例えば、過去にはGoogleのGemini生成AIとGoogle Workspaceの生産性ツールの統合が、プロンプトインジェクション攻撃によるフィッシングに悪用される可能性があることがセキュリティ専門家によって実証されています。

Zenityの研究者たちは昨年、攻撃者がチャットボットによって処理されることを想定した特別に作成された指示をメール、Teamsメッセージ、またはカレンダー招待に埋め込むことで、Microsoft Copilot for M365を乗っ取る方法を示しました。

今年、Zenityの専門家たちは、ChatGPT、Copilot、Cursor、Gemini、Salesforce Einsteinを標的とした同様の攻撃手法を公開しました。

ChatGPTの場合、研究者たちはGoogle Driveとの統合を標的としました。これによりユーザーはDrive上に保存されたファイルを検索・分析できます。攻撃は、ChatGPT向けの隠れた指示が含まれた特別なファイルを標的ユーザーと共有することで行われます（必要なのは被害者のメールアドレスのみです）。

被害者がAIアシスタントに悪意のあるファイルの処理を指示すると、攻撃者の指示が被害者の操作なしに実行されます。Zenityは、ChatGPTに被害者のGoogle Drive内のAPIキーを検索させ、それらを外部に送信させることでリスクを実証しました。

インターネットと連携するCopilot Studioエージェントの場合（3,000以上のインスタンスが確認されています）、研究者たちはエージェントがアクセス可能な情報を外部に送信するよう乗っ取れることを示しました。Copilot Studioは一部の組織でカスタマーサービスに利用されており、Zenityはこれを悪用して企業のCRM全体を取得できることを示しました。

CursorがJira MCPと統合されている場合、攻撃者はAIエージェントに認証情報を収集し攻撃者に送信するよう指示する悪意のあるJiraチケットを作成できます。メールシステムが自動的にJiraチケットを開く場合は特に危険で、Zenityはそのようなインスタンスが数百件存在することを確認しています。

SalesforceのEinsteinを標的としたデモでは、攻撃者はケース間の自動化が有効なインスタンスを狙うことができます（これも数百件が確認されています）。脅威アクターは、標的のSalesforceインスタンスで悪意のあるケースを作成し、それがEinsteinによって処理されると乗っ取ることができます。研究者たちは、攻撃者がすべてのケースのメールアドレスを更新し、顧客とのやり取りを自分の管理するサーバーに転送する例を示しました。

Geminiを標的とした攻撃デモでは、プロンプトインジェクションを利用して生成AIツールに誤った情報を表示させることができることを専門家が示しました。Zenityの例では、被害者が特定の顧客の口座情報を求めた際に、攻撃者が所有する銀行口座をGeminiに提示させることに成功しています。

ChatGPTとCopilot Studioの脆弱性は修正されましたが、それ以外についてはベンダーによって「修正予定なし」とされています。