AIブラウザエージェントが市場に登場し、人々の買い物や従業員の採用、その他のオンライン作業を支援すると約束する中、セキュリティ研究者たちは、これらのプログラムがインターネットから収集する情報が、誰にも気づかれずに操作・改ざんされる可能性があると警告している。
CyberScoopに独占提供された新たな研究で、AIサイバーセキュリティ企業SPLXは、OpenAIの新たにリリースされたブラウザエージェント「ChatGPT Atlas」や、ChatGPT、Perplexity AIにおける脆弱性を指摘した。ユーザーエージェントヘッダーを単純に変更するだけで、ウェブサイトが基盤となるLLMに対して、その挙動や意思決定に影響を与える隠された情報を密かに送信できるという。
SPLXのAIエンジニア、イヴァン・ヴラホフ氏はCyberScoopに対し、訪問者によって異なるコンテンツを表示できるウェブサイトをチームで構築したと語った。人間のユーザーには、そのサイトは製品デザイナーの標準的なプロフェッショナル経歴のように見える。
しかし、AtlasやGPT、PerplexityなどのAIクローラーを検知すると、別のサーバーがデザイナーについて否定的なコメントが満載された隠されたバージョンを配信する。
「ヘッダーに基づいて異なるコンテンツを提供するのは非常に簡単です」とヴラホフ氏は語った。
悪意あるハッカーはこの手法を使って、個人や組織に対する中傷キャンペーンを展開することができる。ブラウザエージェントが同じ名前や用語を検索すると、操作された情報を見つけてしまうのだ。一方、詐欺師はエージェントに偽のプロモーションや割引を見せ、正規のウェブサイトの実際の訪問者とは全く異なる価格や商品をエージェントに表示させることも可能だ。
ヴラホフ氏は、詐欺師がGoogleによって同様の操作に基づく広告がブロックされる前、オンライン広告でよく似たSEO的な手法を使っていたと指摘した。しかし、OpenAIの利用規約はこの問題に実質的に対応していないようだと述べている。
「OpenAIやChatGPTには明確な利用規約がなく、[彼らは]このようなウェブサイトの行為を特に禁止していません」と彼は語った。「例えばGoogleは…あなたのページをブロックし、検索結果に表示されなくなります。OpenAIがまず取り組むべき第一歩は、何らかの検証方法を導入し、悪意ある行為者を実際に禁止することです。」
別のテストでは、チームはこのような脆弱性がオンライン求人採用を操作するためにどのように使えるかを調査した。特定の評価基準を持つ架空の求人情報と、5人の候補者のオンライン履歴書とプロフィールをそれぞれ別のページに作成した。すべての履歴書は「現実的でよく構成されており、もっともらしい職歴やスキルの説明が含まれていた。」
偽の候補者の一人「ナタリー・カーター」は、人間が閲覧できるウェブサイト上では最も資格が低く、AIモデルからも最低スコアを与えられていた。しかし、ナタリーのウェブページがAIクローラーの存在を検知すると、資格や肩書、実績が水増しされた別のページが送信された。
その結果、ナタリーはAIによる選考を難なく通過し、最高得点を獲得し、次点の候補者を10ポイント上回った。
ヴラホフ氏は、この欠陥の皮肉な点として、もしユーザーがLLMが裏側で異なる情報を処理していることに気づいたとしても、それをAIモデルのよく知られた課題である「幻覚（ハルシネーション）」の一例だと考えてしまうかもしれないと指摘した。
「たとえチャットボットが誰かについて悪いことを言ったり、不適切な内容を提供したとしても、ユーザーがリンクをクリックすると、正常なウェブサイトが開き、すべて問題ないように見えるのです」と彼は語った。「まるで幻覚のようです。」
OpenAIは火曜日、この研究に関する質問にすぐには回答しなかった。ヴラホフ氏とSPLXの関係者は、OpenAIに同様の研究について以前連絡を取ろうとしたが、返答はなかったとCyberScoopに語った。
他の研究者やテック業界の幹部もAtlasに関する追加の懸念を指摘している。
LayerXは今週、ChatGPTの認証プロトコルを利用して、LLMのメモリに隠された指示を注入し、場合によってはリモートコード実行も可能にする方法を発見したと発表した。
「この脆弱性は、どのブラウザを使っているChatGPTユーザーにも影響しますが、特にOpenAIの新しいエージェント型ブラウザであるChatGPT Atlasのユーザーにとっては危険です」と、同社共同創業者兼CEOのオール・エシェド氏は月曜日に記した。「LayerXは、Atlasには現時点で意味のあるフィッシング対策が実装されておらず、そのためこのブラウザのユーザーは、ChromeやEdgeなどの従来のブラウザのユーザーに比べて最大90%もフィッシング攻撃に対して脆弱であることを発見しました。」
注意すべき点として、ユーザーはすでにChatGPTにログインしており、ブラウザに有効な認証クッキーやトークンを保持している必要がある。また、ユーザーが悪意あるリンクをクリックしない限り、この攻撃は成立しない。
ビジネスユーザーからもいくつかの問題が報告されている。MongoDBの最高技術責任者ピート・ジョンソン氏は、Atlasブラウザをインストールした後、そのキャッシュデータの保存方法に「興味を持った」と述べ、すぐにいくつかの懸念点を発見したという。
彼は「MacではブラウザがoAuthトークンをSQLiteデータベースに保存するのは標準的な慣習ですが、私が発見したのは、ChatGPT Atlasのインストールではデフォルトでそのファイルに644パーミッションが設定されており（システム上の任意のプロセスがアクセス可能）、これは標準的な慣習ではないようです」と記した。さらに、他の標準的なブラウザと異なり、Atlasは「SQLiteデータベース内のoAuthトークンをキーチェーンで暗号化しておらず（つまり、そのトークンがクエリ可能で利用可能）」だという。
ジョンソン氏は、自身を「決してセキュリティの専門家ではない」としつつも、自作スクリプトがMongoDBのセキュリティスペシャリストによって後に検証されたと述べた。他のユーザーも同じ欠陥を報告している一方、暗号化されたOAuthトークンを受け取ったという報告もある。
セキュリティ研究者がAIブラウザエージェントを調査する一方、国際的な標準化団体は、多くの米国企業が「AIガバナンス危機に無自覚に突入している」という懸念すべき兆候を追跡している。
今週発表予定の新たな研究で、英国の国家標準化機関であるBritish Standards Institutionは、100社の多国籍企業の年次報告書を分析し、世界中の850人の上級ビジネスリーダーに調査を行った。
CyberScoopに事前に独占提供された結果によると、米国企業はAIの安全かつ責任ある利用の計画において世界に後れを取っており、政府やビジネスリーダーが投資や導入の観点からAI技術に積極的に取り組んでいるように見えるにもかかわらず、その傾向が見られるという。
例えば、AIガバナンスプログラムを導入していると回答した米国のビジネスリーダーはわずか17.5%で、世界全体の24%と比べて低い。一方、米国企業の4社に1社しか従業員による非認可AIツールの利用を制限しておらず、4分の1のビジネスリーダーしか自社のAIツールがどのデータで訓練されたかを把握していなかった。
彼らの調査結果は、米国の「企業はAIラッシュに参加する野心のため、AIの有害または無責任な利用を防ぐためのガードレールが著しく欠如していることを示している」と、CyberScoopが閲覧したプレスリリースで結論付けている。
翻訳元: https://cyberscoop.com/openai-atlas-splx-research-cloaking-attacks-browser-agents/
