攻撃者は人気の高いAIチャットボットに誤情報やフィッシングリンクを混入させ、これらのコンテンツを事実や信頼できるWebサイトとしてユーザーに提示させています。このコンテンツ操作キャンペーンは、さまざまな業界の有名ブランドを標的としており、対象組織に風評被害をはじめとする悪影響をもたらしています。
Vigilance Securityの研究者たちは、このキャンペーンを「Dark Sourcery」と名付けました。本日公開された調査結果によると、この手法は基本的にOpenAIのChatGPT、GoogleのGemini、そしてGoogle AI Overviewに対するソーシャルエンジニアリングを利用したものです。
Vigilanceの研究部門バイスプレジデントであるAriel Simon氏は投稿の中で、「攻撃者は入念に最適化された投稿、PDF、レビュー、偽のサポートページをネット上にあふれさせることで、AIをだまして不正な電話番号やメールアドレス、ログインページを提示させようとしています」と述べています。
Vigilanceの研究者たちは、AIチャットボットが配信するコンテンツを操作しようとする攻撃者の狙いの一環として、偽のサポート番号やメールアドレス、ログインページ、ソフトウェアアップデート情報などの不正な詳細情報を含む数万件もの悪意あるページを特定したと、同氏は述べています。
チャットボットの回答結果を操作する手口
AIチャットボットに悪意あるコンテンツやリンクを提示させるため、攻撃者は検索エンジン最適化(SEO)をはじめとするコンテンツ拡散手法を用い、チャットボットがそれらのコンテンツを取得してユーザーとの「対話」の一部として使用する可能性を高めています。
Simon氏はDark Readingに対し、「大学や政府機関といった信頼度の高いドメインと、SNSやフォーラム、ユーザーレビューなどの一般の意見が反映されるソースを組み合わせることで、AIの回答を汚染する手法が高い成功率を収めていると見ています」と語っています。「モデルにもよりますが、AIは情報源を確認し、権威のある主体から発信されたコンテンツであるほど、そのコンテンツをより信頼する傾向があります」
攻撃者はこれまでに、Fortune 100企業や大手航空会社、銀行、旅行会社、ソフトウェアプロバイダーなど、少なくとも374社をこのキャンペーンの被害に巻き込んでいます。影響を受けた有名ブランドには、Delta、Lufthansa、Qatar Airways、Chase、Bank of America、Airbnb、TripAdvisorなどが含まれます。
危険なAI攻撃
この攻撃は、検索結果を他よりも上位に表示させようとするSEOポイズニング攻撃に似た形でAIをだまして結果を提示させるものですが、Simon氏によれば根本的な部分で異なっており、ソーシャルエンジニアリングを新たな次元へと押し上げるものだといいます。
「今回のケースでは、悪意ある情報そのものがAIの回答の一部になってしまいます」と同氏は説明します。「不正なサポート番号が役立つ案内として提示され、ユーザーはその情報の出所となったページを一度も目にすることなく終わる可能性すらあります」
この攻撃は、AIチャットボットを狙う一般的なプロンプトインジェクション攻撃とも異なります。プロンプトインジェクションでは攻撃者がAIに明示的な指示やプロンプトを与える必要があり、それがAI側の防御機構によって阻まれる可能性がありますが、今回の手口ではその必要がありません。Simon氏はDark Readingに対し、「今回のケースでは、事実であるかのように表示された偽情報によって、AIが攻撃者からの指示やプロンプトに一切従うことなく、ユーザーに虚偽の情報を回答してしまいます。つまり、あらゆる防御を実質的にすり抜けてしまうのです」と語っています。
大半のインターネットユーザーは、不審なリンクをクリックしたりフィッシングの誘い文句に引っかかったりしないよう、すでに注意を促されています。しかし、AIに対しては「何でも知っている」存在として捉え、無条件に信頼してしまう傾向があります。Simon氏は、これこそが今回の攻撃が「新たかつ危険なリスクをもたらしている」理由だと述べています。
実際、Simon氏が引用した8月発表のExploding Topicsによる調査では、AIチャットボットを利用する人の91%が提供された回答を検証していないことが明らかになっています。同氏は投稿の中で、「つまり、攻撃者がAIをコントロールし、私たちがそれを無条件に信頼するのであれば、攻撃者は事実上私たちをコントロールしていることになります」と述べています。実際、多くの専門家がAIへの盲目的な信頼を、この技術がユーザーおよび組織全体のセキュリティにもたらす主要な脅威の一つとして挙げています。
関係者への影響
このキャンペーンは現在も続いており、ユーザーだけでなく、標的にされているブランドや、自社ネットワーク内でAIチャットボットやエージェントを利用している組織にも影響を及ぼしています。Simon氏はDark Readingに対し、「こうした詐欺の実際の影響は今まさに起きていると考えていますが、その全容をまだ完全には把握・測定できていません」と語っています。
ユーザーにとって最も分かりやすいベストプラクティスは、AIが提示する結果を鵜呑みにせず、チャットボットを絶対的に正しい存在として信頼しないことだと同氏は言います。また、コンテンツを操作され悪意あるリンクや誤情報を配信されてしまっているブランド側については、セキュリティチームが詐欺に関する顧客からの苦情を真摯に受け止め、顧客が受け取るAIの回答とその根拠となる情報源の両方を監視することを推奨しています。
Simon氏は、「サポート、アカウント復旧、返金、決済、ソフトウェアのダウンロードに関する項目を優先的に確認してください」と述べています。「提示された電話番号やメールアドレス、URLを、検証済みの正式な会社の記録と照合し、見慣れない詳細情報や、無関係な複数のWebサイトにまたがって繰り返し現れる特徴を調査してください」
実際、Vigilanceでは、チャットボットの回答に提示された不正な電話番号によって決済情報やクレジットカードのデータをだまし取られたという苦情が「すでに数件」寄せられているとSimon氏は述べています。研究者たちは実際にこれらの偽の番号のいくつかに電話をかけたところ、対応した担当者から「フライトの変更」や「銀行口座のロック解除」を手伝いたいと持ちかけられ、そのためにクレジットカード情報を求められたとSimon氏は説明しています。
最後にSimon氏は、業務フローの中でAIチャットボットやエージェントを利用している組織に対し、実行時にこれらのエージェントを監視し、依拠している情報源やコンテキストに取り込まれるあらゆるコンテンツを検証することで、誤った回答から従業員を守るよう推奨しています。また、AIエージェントが配信するコンテンツや挙動を分析し、電話番号やリンク、ソフトウェアパッケージ、コマンドラインなどの重要な詳細情報についても検証すべきだとしています。
