大規模言語モデルが実在しそうな偽のウェブドメインを生成してしまうことがあり、攻撃者はその事実を防御側が気づく前に悪用できることが研究者によって明らかになりました。
今回のケースでは、脅威アクターがAIコーディングアシスタントを使って「Montana Empire」と呼ばれるフィッシングキットを構築しました。そして標的に選ばれたのは、23日前にすでに高リスクな幻覚ターゲットとして特定されていたドメインでした。
これにより、AIが攻撃の両面を助けるという閉じたループが生まれています。あるモデルが偽ドメインを提案し、別のAIツールがそのドメインを中心としたフィッシングインフラの構築を支援するという構図です。
このキットは単純な偽ログインページではありませんでした。完全なブランドのクローン、PHPバックエンド、リアルタイムのストアフロントスクレイパー、認証情報の取得ロジック、そして運営者向けのTelegramベースのコマンドチャンネルを備えた本格的なものでした。
研究者たちはさらに、ワンタイムパスワードのリレー機能、被害者管理機能、決済情報の窃取機能も確認しています。これは、このキットが基本的な認証情報の収集を超えた、実際の詐欺行為を目的として構築されていることを示しています。
今回のキャンペーンは、AIの幻覚に起因する新たなフィッシングリスクを浮き彫りにしています。このリスクはファントムスクワッティングと呼ばれることが多いものです。攻撃者はメールによる誘導やタイポスクワッティングドメインだけに頼るのではなく、AIシステム自身が自信を持って生成するURLを悪用し、ユーザーにそのURLを信頼させることができます。
偽のドメインがより信頼性を持って見えるのは、被害者がすでに信頼しているアシスタントや自動化ワークフローから提示されたように感じられるためです。
Palo Alto Networksによると、このケースの背景にある広範な研究も重要な意味を持っています。
研究者たちは913のグローバルブランドをテストし、210万件のユニークURLを生成した結果、1万3,229件の悪意あることが確認されたURLと、犯罪者が後から登録できる約25万件の未登録の幻覚ドメインを発見しました。
防御側にとっての重要な教訓はシンプルです。AIが生成したリンクは、特に認証情報・決済・API・自動化エージェントが関わるワークフローにおいては、検証なしに信頼してはいけません。
Montana Empireは、AIの幻覚が実際の攻撃インフラになり得ることを示しています。偽のドメインが、機能する認証情報窃取オペレーションへと変貌するのです。
このキャンペーンは、防御側がAI生成ドメインを早期に監視しなければならないことを証明しています。評判ベースのセキュリティツールが反応するより先に、攻撃者がそのドメインを登録してしまう可能性があるからです。
翻訳元: https://cyberpress.org/ai-hallucinated-domain-theft/
