研究者たちは、攻撃者がChatGPTのメモリを乗っ取り、悪意のあるコードを実行できる方法を発見しました。
jackpress – shutterstock.com
サイバーセキュリティアナリストがOpenAIの新しいAtlasブラウザのインストールを警告してからわずか数日後、LayerX Securityの研究者が脆弱性を発見しました。この脆弱性により、攻撃者は悪意のあるコマンドをユーザーのChatGPTメモリに直接注入し、リモートコードを実行できるとされています。
エクスプロイトの仕組み
LayerXの共同創設者兼CEOであるOr Eshedが自身のブログ記事で説明しているように、このエクスプロイトは5つのステップで進行します。最初のステップでは、ユーザーがChatGPTにログインし、認証用のクッキーまたはトークンがブラウザに保存されます。次に、被害者が悪意のあるリンクをクリックし、危険なウェブサイトに誘導されます。
その後、悪意のあるサイトがクロスサイトリクエストフォージェリ(CSRF)リクエストを発行し、ユーザーがすでにChatGPTで認証されていることを悪用します。4番目のステップでは、CSRFエクスプロイトがユーザーに気づかれないままChatGPTのメモリに隠れた命令を注入し、LLMのメモリを汚染します。
5番目のステップでは、ユーザーがChatGPTに問い合わせた際に、汚染されたメモリ部分が呼び出されます。これにより、攻撃者がシステムやコードを制御できる悪意のあるコードが実行される可能性があります。
ChatGPTのメモリには、AIチャットボットがユーザーのリクエスト、チャットやアクティビティ、好みやスタイルメモなどの詳細を保存しており、これによりパーソナライズされた関連情報で応答できます。
「メモリはアカウント単位で存在し、セッション、ブラウザ、デバイスをまたいで保持されるため、1回の成功したフィッシングでユーザーが自宅からオフィス、プライベートからビジネスの文脈まで追跡される可能性があります」とAnkura Consultingのグローバルパートナー/シニアマネージングディレクターのAmit Jaju氏は説明します。「BYODや混在利用の環境では、この持続性により再起動やブラウザ変更後もリスクのある行動が再発し、単一のエンドポイントを超えて被害範囲が拡大します。特に個人のChatGPTアカウントが業務に使われている場合は懸念が大きいです。」
Jaju氏は、企業内での普及は現時点では非常に低いと認めています。Atlasは導入されたばかりで、macOSのみ対応、企業向けアクセスはデフォルトで無効になっています。そのため、利用はパイロットプロジェクトや非公式なインストールに限られています。しかし、ビジネスワークスペースでは標準で利用可能なため、業務利用への拡大も現実的です。
OpenAIの広報担当者はこの脆弱性について次のようにコメントしています。「私たちの知る限り、この問題はChatGPT Atlasには影響しません。なぜなら、このブラウザはこの種のクロスサイトリクエストフォージェリ(CSRF)攻撃に対して脆弱ではないからです。私たちはLayerXにさらなる情報提供を依頼しましたが、これまでに提供された情報に基づいて報告内容を再現することはできませんでした。現時点で実際に悪用された事例も確認していません。」
攻撃を検知する方法
ChatGPT Atlasにおけるメモリベースの侵害を検出するのは、従来型マルウェアの検出とは異なります。隔離すべきファイルやレジストリキー、実行ファイルは存在しません。代わりに、セキュリティチームは挙動の異常に注目する必要があります。例えば、チャットボットの応答や提案内容、タイミングに微妙な変化が見られる場合などです。
「突然、外部URLを含むスクリプトを提案したり、ユーザーの意図を過度に正確に予測する音声アシスタントは、注入されたメモリエントリに依存している可能性があります」とGreyhound ResearchのCEO兼チーフアナリストのSanchit Vir Gogia氏は警告します。「メモリが侵害されている場合、AIは不正なコンテキストで動作することがあります。これは警告信号です。」
アナリストは、ブラウザのログ、メモリ変更のタイムスタンプ、プロンプトとレスポンスのシーケンスを相関させて監視する必要があるとGogia氏は付け加えます。「チャット履歴のエクスポートと解析は不可欠です。」SOCチームは、ユーザーが未知のリンクをクリックした後に異常なメモリアップデートやAI主導のエージェントアクションが続いた場合など、特に注意を払うべきです。
Greyhound Researchの専門家は、これはプラグアンドプレイ型の検出問題ではないと指摘します。セキュリティ対策は、Atlasが企業でデフォルトで無効化されていることから始まります。業務用途では、機密性の低いデータを用いた厳格に限定されたパイロットプロジェクトに限定すべきです。
Ankura ConsultingのJaju氏はさらに、企業は監視のためにAIが提案したコード、リモートペイロードの取得、ChatGPT利用後の異常な出力、SaaSでのセッションライディング行動などの検出メカニズムを追加すべきだと述べています。また、新規登録や未分類ドメイン向けのウェブフィルタの有効化も提案しました。
Gogia氏は次のように補足します。「Atlasユーザーのメモリが侵害された場合、脅威は特定の端末ではなくクラウドに紐づくIDにあります。」そのため、対応はアカウント単位で行う必要があります。「メモリを消去し、認証情報をローテーションし、現在のチャット履歴全体を改ざんや隠れたロジック、不正なタスクフローの兆候がないか確認すべきです。」
AIブラウザは安全か？
脆弱性の特定に加え、LayerXは、ChatGPT Atlasがフィッシング攻撃を阻止できないとも主張しています。同社が実施したテストでは、ChatGPT Atlasの誤検知率は94％を超え、合計103件の実際の攻撃のうち97件が成功しました。
同社が先月テストした他のAIブラウザでも、結果は芳しくありませんでした。PerplexityのCometとGensparkはフィッシング攻撃の7％しか防げず、Arc BrowserのDiaだけが46％の攻撃に耐性がありました。従来のブラウザであるEdgeやChromeは比較的優れており、標準の保護機能で約50％のフィッシング攻撃を防ぐことができました。（jm）
