「HalluSquatting」と呼ばれる新たに公開された攻撃手法が、AIセキュリティの分野で深刻な懸念を呼んでいます。この手法は、攻撃者が大規模言語モデル(LLM)のハルシネーション(幻覚)を悪用し、システムを密かに侵害して大規模にボットネットを構築しうることを示しています。
この研究では、「敵対的ハルシネーション・スクワッティング(adversarial hallucination squatting)」と呼ばれる新たな手法が紹介されています。これは、コーディングアシスタントやコマンドラインツールなどのエージェント型AIアプリケーションが自動タスクを実行する際に、AIモデルがリポジトリ名やソフトウェアパッケージ名といった、誤った、あるいは存在しないリソース識別子を生成してしまう現象を悪用するものです。
HalluSquatting攻撃
メールやメッセージングなど、直接的なやり取りに依存する従来のプロンプトインジェクション攻撃とは異なり、HalluSquattingはターゲットシステムへの直接アクセスを一切必要としません。その代わりに、攻撃者はLLMがハルシネーションを起こしやすい偽のリソース名を事前に予測します。
悪意あるGitリポジトリやスキルパッケージなど、これらのリソースを事前に登録しておくことで、AIシステムがユーザーの要求に応える過程で無自覚にアクセスしてしまう罠を仕掛けます。これにより、リポジトリのクローン作成やツールのインストールといった本来無害なAI主導の操作が、リモートコード実行(RCE)を招く潜在的な攻撃経路へと転化してしまいます。
今回の調査では、リポジトリのクローン作成シナリオにおいてハルシネーション発生率が最大85%に達し、スキルインストールのワークフローに至っては100%に達するケースもあることが明らかになりました。これは、複数のLLM駆動プラットフォームに共通する構造的な脆弱性を浮き彫りにしています。
Google Sitesの研究者らは、GitHub Copilot、Cursor、Windsurf、Gemini CLIをはじめとする広く使われている自律型AIエージェントに対して、この手口の悪用に成功したことを実証しました。
これらのシナリオでは、ハルシネーションによって生成されたリソースが一度取得されると、埋め込まれた敵対的プロンプトがAIの実行フローを操作し、最終的には不正なコマンドの実行や、ホストシステムへの悪意あるペイロードのインストールを引き起こす可能性があります。
この攻撃は、体系立てられた一連の流れをたどります。まず偵察段階で、攻撃者はトレンドとなっているリポジトリやツールを分析し、LLMに問い合わせを行うことで、ハルシネーションとして生成されやすい出力を特定します。
次に、こうして予測された識別子が事前に登録され、隠されたコマンドとともに武器化されます。その後、ユーザーがAIアシスタントに対して、例えばあるリソースのインストールやクローン作成を指示すると、LLMは攻撃者が制御する識別子を生成してしまうことがあります。
エージェントはこの悪意あるリソースを取得し、自身のコンテキストに組み込んだ上で、埋め込まれた命令を実行してしまいます。これにより、システムは事実上ボットネットの一部と化してしまうのです。
この手口はタイポスクワッティングに似ていますが、ユーザー入力の段階ではなくAIの認知プロセスの段階で作用するため、検知が格段に難しくなっています。さらに、ハルシネーションによる出力が異なるモデル間でも移植可能であるという特性がリスクを増幅させ、攻撃者は最小限の労力で多様なプラットフォームにまたがるキャンペーンを展開できてしまいます。
研究者らは責任ある情報開示を重視し、影響を受けるベンダーへの通知を行うとともに、悪用を防ぐために実装の詳細な機密情報を伏せて公表しました。
また、実験の過程では意図しない悪用を防ぐための安全対策も講じています。今回の発見が持つ両刃の性質を認識しつつも、著者らは、この種の脆弱性を明らかにすることが堅牢な防御策の構築にとって不可欠であると主張しています。
対策としては、外部リソース識別子に対するより厳格な検証の実施、自律実行の権限の制限、そしてハルシネーションを最小化するためのLLMのグラウンディング強化などが挙げられます。エージェント型AIの採用が加速する中、HalluSquattingは、ユーザー入力だけでなくAIシステム自体の確率的な振る舞いにも対応するセキュリティ対策の必要性を浮き彫りにしています。
Interact with Cyber Threats in Windows, Linux, macOS VMs to Trigger Full Attack Chain - Analyse Malware & Phishing with ANY RUN
翻訳元: https://gbhackers.com/hallusquatting-attack/
