テルアビブ大学とテクニオン工科大学の研究者らが、大規模言語モデルがリソース識別子をハルシネーション(幻覚)する予測可能な傾向を悪用する新たな攻撃手法を公表しました。この手法は「adversarial hallucination squatting(敵対的ハルシネーション・スクワッティング、HalluSquatting)」と呼ばれています。
Googleによると、この手法を使うことで攻撃者は人気のAIコーディングアシスタントを大規模に乗っ取り、ボットネットへと組み上げることが可能になるといいます。
HalluSquattingでは、攻撃者があらかじめリポジトリ名やAIの「スキル」といったリソースを登録しておきます。これらは、「リポジトリをクローンして」や「スキルをインストールして」といった開発者からの一般的なプロンプトに応答する際、LLMが統計的にハルシネーションを起こしやすい名称です。
攻撃者は基盤モデルに探りを入れ、最もハルシネーションが発生しやすい名称の分布を計算することで、確率の高い「汎用スクワッティング候補」を特定します。そして、実際のユーザーが問い合わせるよりも先に、これらの偽リソース内に敵対的なプロンプトを仕込んでおくのです。
この手法は、攻撃者がAIコーディングツールが頻繁に生成しがちな名称で悪意あるパッケージを公開する「slopsquatting」と概念的には似ています。しかしHalluSquattingは、ソフトウェアパッケージにとどまらず、より広範なエージェント型リソースにまでこの概念を拡張し、ボットネットへの完全な取り込みに利用できることを実証しています。
この攻撃は連鎖的に展開されます。まず攻撃者がトレンドのリポジトリやスキルを追跡し、オラクルに探りを入れてハルシネーションの分布を構築します。次に、最も確率の高い偽リソースを、悪意ある命令を埋め込んだ状態で登録します。
その後、正規のユーザーがAIコーディングアシスタントに日常的なタスクを依頼すると、アプリケーションのプランナーは本物のリソースの代わりにスクワッティングされたリソースへの参照をハルシネーションし、それを取得してしまいます。そして汚染されたコンテンツがエージェントのコンテキストを乗っ取り、意図しないツール呼び出しを引き起こすのです。
テルアビブ大学の実証実験では、リポジトリのクローンシナリオで最大85パーセント、スキルのインストールシナリオでは最大100パーセントというハルシネーション発生率が確認されました。しかも、異なる基盤モデルやプロンプトをまたいでも、ハルシネーションは安定して再現されました。
この手法は、多種多様な本番環境のAIコーディングアシスタントおよびエージェント型プラットフォーム全般でリモートツール実行やリモートコード実行を可能にすることが示されており、統合ターミナルに依存するツールにとってサプライチェーン型のリスクを露呈させています。
テクニオン工科大学のチームは、一部のCLIにあるスキップ権限フラグや「yoloモード」のような「自動実行」や権限バイパスのモードが、危険にさらされる時間を大幅に広げると指摘しています。これらのモードでは、人間によるレビューを経ずにエージェントが取得したコードを実行できてしまうためです。
メールやカレンダー招待を介して配信される従来の標的型プロンプトインジェクションとは異なり、HalluSquattingは無差別かつプル型の攻撃です。被害者のアプリケーションへの直接的な経路は一切必要とせず、被害者自身のエージェントが通常の稼働中に汚染されたリソースをインターネットから自ら「取りに行く」形になります。
これにより、プロンプトインジェクションは一対一のオーダーメイド型の手法から、古典的なボットネットの伝播に似た拡張可能な仕組みへと変貌を遂げます。一つのスクワッティングされたリソースが、たまたまそこへとハルシネーションしてしまったあらゆるエージェントを侵害できるようになるのです。
テルアビブ大学とテクニオン工科大学のチームは、影響を受けるベンダー、モデルプロバイダー、マーケットプレイス運営者に対して責任ある形で調査結果を開示し、単一の対策ではなく多層的な緩和策を提案しています。
今回の調査結果は、AIコーディングアシスタントが自律性とターミナルへのアクセス権を強めるにつれ、自らのハルシネーションそのものが悪用可能な攻撃対象領域になりつつあることを浮き彫りにしています。この脅威は従来型のボットネットインフラの規模を映し出すものであり、いずれはそれを凌駕する可能性もあります。
翻訳元: https://cyberpress.org/agentic-botnets-hallusquatting-ai-coding/
