ChatGPT の脆弱性がプロンプトと機密情報の静かな流出を可能にした

人工知能アシスタントは、隔離された環境がこの情報を安全に保つという前提の下で、私たちの最も機密性の高いデータをますます処理しています。しかし、最近公開された ChatGPT の脆弱性は、この期待を打ち砕きました。

Check Point Research によって発見されたこの欠陥は、隔離されたコード実行ランタイムを悪用して秘密の外向き通信チャネルを確立し、標準的なチャットセッションを OpenAI の外向きデータ転送の警告をトリガーすることなく、サイレントなデータ収集ツールに効果的に変えてしまいました。

DNS による外向き制限の回避

OpenAI は、Python ベースのデータ分析環境からの直接的な外向きインターネットアクセスを厳しく制限しています。

GPT アクションなどの外部データ共有の標準的なメカニズムは、目に見える承認ダイアログを通じて明確なユーザー同意が必要です。

しかし、CheckPoint の研究者たちは、HTTP と標準的な TCP の外向きリクエストはブロックされていましたが、コンテナ化されたランタイムは依然として Domain Name System (DNS) 解決が通常通り機能することを許可していることを発見しました。

攻撃者は DNS トンネリングを使用してこの見落としを悪用しました。モデルに細工された悪意のあるプロンプトを与えることで、攻撃者は ChatGPT に指示して機密チャットデータまたはアップロードされたファイルのコンテンツを DNS セーフなフラグメントにエンコードすることができました。

これらのフラグメントは、攻撃者が制御するドメインのサブドメインとして追加されました。コンテナの DNS リゾルバがこれらのリクエストを処理すると、エンコードされたデータが意図せずに攻撃者のサーバに外向きに送信されました。

システムは DNS クエリを外部データ転送ではなく標準的なインフラストラクチャトラフィックと見なしたため、ユーザーに対してセキュリティ警告は一度もトリガーされませんでした。

脅威アクターはこの悪用を 2 つの主要なベクトルを通じて配信することができました。まず、攻撃者はオンラインで悪意のあるプロンプトを配布し、プレミアム機能をロック解除する「ジェイルブレイク」または生産性ハックとして偽装することができました。

チャットに貼り付けられると、プロンプトはセッションを武器化しました。あるいは、悪意のあるロジックをカスタム GPT に直接埋め込むことにより、攻撃者はプロンプトインジェクションの必要性を完全に回避でき、バックドアされたアシスタントとデータを共有した人誰もが即座に危険にさらされました。

この脆弱性の深刻さは単なるデータ盗難を超えていました。DNS チャネルが双方向であったため、攻撃者は DNS レスポンス内に小さなコマンドフラグメントをエンコードすることができました。

これにより、脅威アクターは ChatGPT がデータ分析に使用する Linux コンテナ内に直接リモートシェルを確立することができました。

そこから、彼らはモデルの標準的なセキュリティメカニズムの完全に外側で任意のコマンドを実行することができました。

この事件は、AI セキュリティの重要な変化を浮き彫りにしています。モデルがコードを実行し、医療記録または財務記録を処理できるフル機能の実行環境に進化するにつれて、それらをセキュアにするには、すべての通信層に対する厳密な制御が必要です。

プラットフォームプロバイダーは、基本的なインフラストラクチャプロトコルがアプリケーション層のデータ保護をバイパスするために武器化されないようにする必要があります。