セキュリティ研究者らは、ChatGPTの分離システムに存在し最近修正された欠陥を明らかにしました。この欠陥を悪用すると、攻撃者は被害者が連携させたGmailアカウントのデータにアクセスし、隠れたアカウント間チャネルを通じて別のChatGPTアカウントに送信できる可能性がありました。
Cloudsecurity solutions
研究者Alexey Bukhteyev氏が率いるCheck Point Researchは、攻撃者が共有ChatGPT会話、悪意のあるプロンプト、またはカスタムGPT設定の中に指示を埋め込める可能性があることを発見しました。
こうした指示があると、被害者のChatGPTセッションはユーザーの正規のリクエストと並行して、隠れたタスクを実行してしまう恐れがあります。画面に表示される応答は一見正常に見えますが、連携アプリケーションから取得したデータがチャット出力に表示されないまま攻撃者に送信される可能性があるのです。
ChatGPTの欠陥がGmailデータを窃取
この問題は、ChatGPTのコード実行機能を支えるアーキテクチャに起因していました。ChatGPTは分析やファイル処理、依存関係のインストールといったタスクのために、分離されたコンテナを作成できます。
これらのコンテナは、直接インターネットにアクセスしたり、異なるユーザーやアカウント間で通信したりすることをブロックするよう設計されていました。しかし研究者らは、コンテナが共有の内部JFrog Artifactoryサービスにアクセスできることを発見しました。
Artifactoryは内部パッケージリポジトリとして機能しており、コンテナが公開リポジトリにアクセスすることなく、Python、npm、その他のソフトウェア依存関係を取得できるようにしていました。
しかし研究者らは、コンテナの認証情報がArtifactoryのItem Management APIエンドポイントにもアクセスできることを発見しました。このエンドポイントには、キャッシュされたリポジトリ項目に関連付けられたメタデータプロパティを設定・読み取りする機能が含まれていました。
これにより、アカウント間でのデータ共有を可能にする仕組みが生まれてしまいました。あるChatGPTアカウントに紐づくコンテナが、テキストやBase64エンコードされたデータを含むプロパティを共有キャッシュファイルに付加できるのです。
そして、別のアカウントのコンテナが同じ項目に問い合わせることで、このプロパティを読み取ることができました。より大きなペイロードは複数のチャンクに分割し、受信側の環境で再構成することも可能でした。
Check Pointはこの結果を、本来は分離されているはずのコンテナ間に存在する「共有クリップボード」だと表現しています。この欠陥は、コンテナ同士が直接通信したり公開インターネットにアクセスしたりする必要はなく、代わりに共有の内部サービス上の変更可能なメタデータを利用して、双方向の隠密チャネルを作り出していました。
研究者らは、このチャネルをプロンプトインジェクションと組み合わせる方法を実証しました。攻撃者は、共有ChatGPT会話やカスタムGPTの設定内に隠れた指示を挿入できます。
被害者がその会話を開き通常のリクエストを送信すると、ChatGPTは画面上の可視タスクを処理する一方で、隠密チャネル経由で攻撃者が仕込んだコマンドを取得してしまう可能性があります。
実証実験では、被害者がGmailをChatGPTに連携していました。一見無関係な別のリクエストを処理している最中に、ChatGPTは連携されたメールボックスにアクセスし、要求されたメールデータを取得したうえで、Artifactory経由のチャネルを使って攻撃者に送り返しました。
被害者は通常の応答を受け取っただけで、可視の出力には隠れたGmailクエリの詳細は一切表示されませんでした。唯一の手がかりとなり得たのは、その操作の後に表示される「Talked to Gmail」というアクティビティラベルでしたが、これは事前にアクセスを承認したりブロックしたりする機会を提供するものではありませんでした。
この欠陥による影響の範囲は、被害者のChatGPTセッションが利用できるツール、アプリケーション、ファイル、権限に左右されます。Gmail以外にも、影響を受けたセッションではGoogle Drive、Microsoft Teams、GitHubといったサービスや、アップロード済みファイル、チャット履歴からアクセス可能なデータが露出する可能性がありました。
Check Pointによると、OpenAIはこの問題について通知を受け、今回の研究で対象となった内部Artifactoryインスタンスが既に廃止されたことを確認しました。報告書が公開された時点で、このアカウント間チャネルはすでに機能していませんでした。
今回の発見は、エージェント型AIをめぐるより広範なセキュリティ上の懸念を浮き彫りにしています。すなわち、コード実行をサンドボックス化するだけでは不十分であり、共有の内部サービスがユーザー、アカウント、セッションごとに分離されていない書き込み可能な状態を保持している限り、リスクは残るということです。組織は、テナントの厳格な分離、最小権限アクセス、そして連携アプリのデータアクセスに対する明示的な承認制御を実装すべきです。
Cloudsecurity solutions
SOCを常に最新の状態に保ち、アクティブなマルウェアやフィッシングの出現から24時間以内に把握できるようにしましょう。 ANYRUNを試して早期検知でインシデントを防止。
翻訳元: https://gbhackers.com/chatgpt-flaw/
