Atlasブラウザの脆弱性により攻撃者がChatGPTのメモリを乗っ取る

OpenAIのAtlasブラウザは、研究者が攻撃者によるChatGPTのメモリ乗っ取りおよび悪意のあるコードの実行を、従来のマルウェアの痕跡を残さずに実証したことで注目を集めています。

サイバーセキュリティアナリストがOpenAIの新しいAtlasブラウザのインストールを企業に警告してから数日後、研究者たちは攻撃者が悪意のあるコードでシステムに感染させ、アクセス権限を取得したり、マルウェアを展開できる脆弱性を発見しました。この出来事は、AIネイティブブラウザの企業利用の準備状況に即時の疑問を投げかけています。

Atlasブラウザは、LayerX Securityの研究者が、攻撃者がこの脆弱性を悪用してユーザーのChatGPTメモリに直接悪意のある指示を注入し、リモートコードを実行できることを明らかにしたことで、注目を集めています。

攻撃者による脆弱性の悪用を防ぐため、LayerXは追加の技術情報を共有せずにOpenAIにこのエクスプロイトを報告しました。

悪用の仕組み

このエクスプロイトは5つのステップで機能します。最初のステップでは、ユーザーがChatGPTにログインし、認証クッキーやトークンがブラウザに保存されます。次のステップでは、ユーザーが悪意のあるリンクをクリックし、侵害されたウェブページに誘導されます、とLayerXの共同創設者兼CEOのOr Eshedがブログ投稿で説明しています。

次のステップでは、悪意のあるページがクロスサイトリクエストフォージェリ(CSRF)リクエストを呼び出し、ユーザーの既存のChatGPT認証を悪用します。4つ目のステップでは、CSRFエクスプロイトがユーザーに気付かれずにChatGPTのメモリに隠れた指示を注入し、コアLLMメモリを汚染します。

5つ目のステップでは、ユーザーがChatGPTに問い合わせた際に汚染されたメモリが呼び出され、攻撃者がシステムやコードを制御できる悪意のあるコードの展開が可能になります。

ChatGPTのメモリは、AIチャットボットがユーザーの問い合わせ、チャット、活動、好み、スタイルノートなどの詳細を記憶し、パーソナライズされた関連情報で応答するために設計された便利なツールです。

「メモリはアカウントレベルで、セッション、ブラウザ、デバイスをまたいで持続します。そのため、一度の誘導で自宅からオフィス、個人から企業の文脈までユーザーを追跡します」と、Ankura Consultingのグローバルパートナー/シニアマネージングディレクター(インド)のAmit Jaju氏は述べています。「BYODや混合利用環境では、その持続性により再起動やブラウザ変更後もリスクのある行動が再発し、単一エンドポイントを超えて被害範囲が拡大します。特に個人のChatGPTアカウントが業務で使われる場合は懸念が大きいです。」

Jaju氏は、企業内での導入は現時点では非常に低いと付け加えています。Atlasはリリースされたばかりで、macOS専用、企業向けアクセスはデフォルトでオフです。そのため、影響はパイロットや非公式インストールに限定されます。しかし、ビジネスワークスペースではデフォルトで利用可能なため、業務利用への波及も考えられます。

被害の検知方法

ChatGPT Atlasにおけるメモリベースの侵害検知は、従来のマルウェアの検出とは異なります。隔離すべきファイル、レジストリキー、実行ファイルはありません。代わりに、セキュリティチームはアシスタントの応答や提案の仕方、タイミングなどの微妙な行動の異常を監視する必要があります。

「手がかりはありますが、通常のスタックの外にあります。たとえば、アシスタントが突然外部URL付きのスクリプトを提案し始めたり、ユーザーの意図を過度に正確に予測し始めた場合、注入されたメモリエントリに依存している可能性があります。メモリが侵害されると、AIは不正な文脈で動作できます。それは警告サインです」と、Greyhound ResearchのCEO兼チーフアナリストのSanchit Vir Gogia氏は述べています。

さらに、フォレンジックの観点からは、アナリストはブラウザログ、メモリ変更のタイムスタンプ、プロンプトと応答のシーケンスを相関させる必要があります。チャット履歴のエクスポートと解析は必須です。SOCチームは、ユーザーが不明なリンクをクリックした後に異常なメモリ更新やAI主導のエージェントアクションが続くシーケンスに注目すべきです。

これはプラグアンドプレイ型の検知問題ではないため、救済と緩和は企業でAtlasをデフォルトで無効にしておくことから始まります。ビジネス用途では、機密性の低いデータを使った厳密に範囲を限定したパイロットに限定すべきです。

Jaju氏は、監視のために、AIが提案したコード、リモートペイロードの取得、ChatGPT利用後の異常な外部通信、SaaSにおけるセッションライディング行動の検知を追加することを推奨しています。また、新規登録や未分類ドメインへのウェブフィルタリングの有効化も提案しています。

Atlasユーザーのメモリが侵害された瞬間、脅威はクラウド上のIDに存在し、特定のマシンにはありません。そのため、対応はアカウントから始める必要があります。メモリを消去し、認証情報をローテーションし、最近のチャット履歴を改ざん、隠れたロジック、操作されたタスクフローの兆候がないか確認すべきだとGogia氏は指摘しています。

AIブラウザは安全か?

LayerXは脆弱性の特定とともに、ChatGPT Atlasがフィッシング攻撃を防ぐ機能も備えていないと主張しています。同社のテストでは、ChatGPT Atlasの失敗率は94%を超えました。全103件の実際の攻撃のうち、97件が成功しました。

同社が先月テストした他のAIブラウザも、結果はあまり芳しくありませんでした。PerplexityのCometとGensparkはフィッシング攻撃の7%しか防げず、ArcブラウザのDiaだけが約46%の攻撃を防げました。一方、EdgeやChromeなどの従来型ブラウザは、標準搭載の保護機能で約50%のフィッシング攻撃を防ぐことができました。

翻訳元: https://www.csoonline.com/article/4080144/atlas-browser-exploit-lets-attackers-hijack-chatgpt-memory.html

ソース: csoonline.com