- AIの「幻覚(ハルシネーション)」が兵器化される可能性を新報告書が警告
- HalluSquattingは「敵対的ハルシネーション・スクワッティング」の略称
- GitHub Copilot、Gemini CLI、OpenClawなどが影響を受ける
お気に入りのAIサービスが悪用され、スマートフォンやPCをボットネットに変えるコードを配布させられる恐れがあることが、Intuit、Technion、テルアビブ大学の研究者による調査で明らかになりました。
この手法は「HalluSquatting」と名付けられており、これは「敵対的ハルシネーション・スクワッティング(adversarial hallucination squatting)」の合成語です。悪意あるコードを拡散させるために何らかの「間違い」を利用する点で、タイポスクワッティングと似た性質を持ちます。タイポスクワッティングがウェブサイトURLの入力ミスにつけ込むのに対し、HalluSquattingはLLMがリソースやリポジトリを100%の精度では特定できないという弱点を突くものです。
LLMがリポジトリのリソース識別子を「幻覚」してしまう傾向を悪用するこの手法は、大規模なランサムウェアキャンペーンやボットネットなどに拡大展開できる恐れがあります。
プッシュとプルの組み合わせ
これまでのLLMベースのマルウェア攻撃は、プル型攻撃に依存していました。このシナリオでは、AIをジェイルブレイクしたり何らかの形で乗っ取ったりするために設計されたプロンプトが(たとえば)あるウェブサイトに仕込まれ、LLMがその情報を取得するよう誘導されることで、内部的なセキュリティが低下させられます。
研究者らが今回の論文で明らかにしたのは、このプル型手法が、従来はコードインジェクションとして実行されてきたプッシュ型攻撃と組み合わされているという点です。
論文の冒頭の要約では次のように述べられています。「幻覚によって生じたリソースをあらかじめ登録しておく手法——われわれはこれを敵対的ハルシネーション・スクワッティング(HalluSquatting)と呼ぶ——により、われわれは多様な人気のエージェント型LLMアプリケーション全体にわたって、大規模なリモートツール実行およびリモートコード実行が可能であることを実証した。これはボットネットの構築に悪用され得るものである」。
攻撃者がLLMによって誤った名称で呼ばれる可能性の高いリソースを特定し、そこにスクワッティング(敵対的プロンプトを埋め込むこと)を仕掛けてしまえば、あとの作業は完了です。残るは、ユーザーがそのリソースを呼び出す操作を行い、AIチャットボットやエージェントが応答処理を開始し、スクワッティングされたリソースにアクセスするのを待つだけです。
プロンプトウェア攻撃
これに続いて、スクワッティングされたリソース内に仕込まれた敵対的コンテンツが起動し、ツール呼び出し段階のトリガーとなります。これがプロンプトウェア攻撃であり、攻撃者が制御する命令が実行され、その結果として使用中のデバイスがボットネットのゾンビ端末に変えられる可能性もあります。
この攻撃手法の検証には、Cursor、Cursor CLI、Windsurf、GitHub Copilot、Clineといったコーディングアシスタント型のLLMに加え、Gemini CLI、そしてOpenClaw、ZeroClaw、NanoClawといったAIアシスタントが使用されました。研究者らは、リモートツール実行(実質的にLLMへ遠隔からアクセスし制御すること)と、リモートコード実行(RCE、悪意あるコードを遠隔から実行すること)の両方に成功しています。
いくつかの緩和策も存在します。たとえば、LLM開発者がフェッチ操作をブロックし検索ツールを優先させることや、リソース所有者が厳格な命名規則を強制し、グローバルに一意なリソース名を採用することなどが挙げられます。しかし、これらの対策には異なる立場の関係者間での協力が必要であり、実現までには時間がかかる可能性があります。
LLMベースのマルウェアのリスクは高まりつつあり、実際の被害事例もすでに確認されています。中でも特に注目すべきはJADEPUFFER攻撃です。これは単なるAIベースのマルウェアにとどまらず、LLMだけで完全に実行されるランサムウェア攻撃だったのです。
