InjecMEM技術は、単一の入力がAIエージェントの応答に持続的な影響を与え得ることを示す
新たに実証された攻撃手法により、ハッカーは単一のプロンプトでAIエージェントのメモリに隠れた指示を仕込み、将来のクエリに対するシステムの応答に影響を与えられることが判明しました。
この技術は「InjecMEM」と呼ばれ、研究論文では「たった1回のやり取りで、メモリストアへの読み取り・編集アクセスを一切必要とせずに、エージェントのメモリシステムを標的とするレッドチーム攻撃パラダイム」と説明されています。
上海交通大学とAnt Groupの研究者たちは論文で次のように記しています。「攻撃者は対象トピックと目標とする出力を指定し、そのトピックに関する後続のクエリに対してエージェントがその出力を生成するよう仕向けます」
研究者らによると、この手法は過去のやり取りを保存し、将来のタスクで再利用するAIエージェントを標的としており、初回のやり取りで仕込まれた悪意あるコンテンツが持続し、その後の出力に影響を及ぼすことを可能にするといいます。
この研究では、「MemoryOS」と呼ばれるメモリシステムと、エージェントフレームワーク「MemGPT」を対象にこの技術を評価し、複数の領域にわたってテストを実施しました。その結果、仕込まれた記録がどのように取得され、その後の応答に組み込まれるかが示されました。
論文にはさらにこう記されています。「MemoryOSにおいて、InjecMEMはベースライン攻撃を大幅に上回り、最大で取得成功率(RSR)35.4%、攻撃成功率(ASR)76.6%を達成しました」
InjecMEM攻撃の仕組み
InjecMEMは、モデル自体ではなくAIエージェントのメモリ層に焦点を当てています。こうしたシステムは過去のやり取りを保存し、後で新たなクエリのコンテキストとして取得します。
研究者らによると、この攻撃は通常のやり取りを通じて悪意あるコンテンツをメモリに挿入し、後で取得・再利用させることで機能するといいます。一度保存されると、仕込まれた記録はエージェントのメモリの一部として扱われ、将来のタスクの中で表出する可能性があります。
論文はさらに、後続のクエリが保存されたコンテンツに関連する場合、システムはそのメモリを取得し、応答生成のプロセスに組み込むと述べています。
研究者らは、InjecMEMを従来のプロンプトインジェクション攻撃と区別する要因として、その持続性を挙げています。
現在のやり取りにのみ影響を及ぼすプロンプトインジェクションとは異なり、この技術では攻撃者が制御するコンテンツがシステムのメモリ内に残り続け、後で再利用されます。論文には、この手法が「関連するクエリの後続の応答を誘導できる」と記されており、その影響がセッションをまたいで及ぶことを示しています。
この持続性は、メモリシステムが関連性に基づいて過去のやり取りを取得する仕組みと結びついており、類似したクエリが処理される際に、以前保存されたコンテンツが再浮上することを可能にしています。
攻撃者モデルと制約
研究者らは、InjecMEMを制約された攻撃者モデルのもとで動作するものとして説明しています。このモデルでは、攻撃者は一般ユーザーと同様の形でシステムとやり取りします。
この攻撃は、メモリシステムへのアクセスや、保存された記録を直接改変する能力を前提としていません。その代わりに、標準的なやり取りのチャネルを利用して、システムが後で保持・取得するコンテンツを仕込む形をとると研究者らは記しています。
サイバーセキュリティ研究者でレッドチーマーのヴィブム・デュベイ氏は、これは多くの企業システムの現在の運用実態を反映していると述べています。
デュベイ氏はこう語ります。「この攻撃は現実的なものですが、すべての企業向けAIシステムが直ちに脆弱だと言うつもりはありません。より大きな懸念は、多くのチームがAIのメモリをセキュリティ上重要な状態としてではなく、単なるアプリケーションデータとして扱っている点です。攻撃者が悪意あるコンテンツをそのメモリに仕込むことができ、システムが後でそれを信頼してしまうなら、この攻撃は現実的な脅威となります」
研究者らはInjecMEMについて、AIシステムに対する攻撃のあり方における一つの転換を示すものと位置づけています。それは、即時の操作から、メモリを介した遅延的な影響へのシフトです。
デュベイ氏は、これによってこの種の攻撃の捉え方が変わると述べています。
同氏は次のように語ります。「これは脅威モデルをかなり大きく変えるものです。従来のプロンプトインジェクションは会話が終われば影響も終わることが多いものでした。一方、メモリ汚染は攻撃者の影響を将来のセッションにまで持ち越すことができます。セキュリティの観点からは、これはむしろ『持続化(persistence)』として捉えるべきでしょう。攻撃者は何かを仕込む機会を一度だけ得て、あとはエージェントがそれを取得するのを待つのです」
現行の防御策の限界
研究者らは既存の防御策を検証し、現在のアプローチは主にやり取りの時点で入出力をフィルタリングすることに重点を置いていると指摘しています。
論文は、こうした防御策が、保存されたメモリを介して行われる攻撃に十分対応できていない可能性を示唆しています。悪意あるコンテンツは、最初に仕込まれた時点では無害に見える一方、後で取得された際に挙動に影響を及ぼす可能性があるためです。
デュベイ氏は、これは現在のセキュリティ対策におけるより広範なギャップを反映していると述べています。
同氏はこう語ります。「これは現行のAIセキュリティ管理における実質的なギャップを浮き彫りにするものだと思います。多くの防御策はプロンプトやモデルへの入力に重点を置いていますが、メモリはアプリケーションスタックのさらに下層に位置しています。企業は、メモリに関する基本的なセキュリティ上の問いを検討する必要があります。誰がメモリへの書き込み権限を持つのか、何が保存されるのか、それはどのように検証されるのか、情報源は信頼できるのか、そして汚染されたエントリーをどのように特定し除去するのか、といった点です」
さらに同氏は、この攻撃が侵害の発生し得る場所の変化を浮き彫りにしていると付け加えました。
「私にとって興味深いのは、モデル自体を侵害する必要が必ずしもないという点です。攻撃者は、モデルに与えられるコンテキストそのものを侵害できる可能性があります。これにより、AIのメモリは企業がこれまで以上に真剣に扱うべきセキュリティ境界となります」。論文はさらにこう結んでいます。「私たちは、このフレームワークと問題の定式化が、より安全なエージェントメモリシステムの構築を後押しする有用な基盤となることを期待しています」
ギャナ・スウェイン氏は、通信・IT分野の取材で20年以上の経験を持つベテランのテクノロジージャーナリストです。VARINDIAのコンサルティングエディターを務めており、これまでのキャリアではCyberMedia、PTI、9dot9 Media、Dennis Publishingで編集職を歴任してきました。著書2冊を持つ作家でもあり、業界への深い知見と物語性を兼ね備えた文章を書きます。仕事以外では熱心な旅行者であり、クリケット愛好家でもあります。Utkal大学で学士号(B.S.)を取得しました。
