Copilotワームが悪用するMicrosoft Word文書の感染経路

Copilotを媒介として広がる「AIワーム」がMicrosoft Word文書を通じて感染し得ることを、著名なノルウェー人AI研究者が火曜日に報告しました。

今回の報告書はHåkon Måløy氏によるもので、後にMicrosoftも内容を確認しています。それによると、攻撃者はある文書に指示を隠しておき、その文書が後にCopilotによる文書生成・編集の元データ、例えば財務報告書の入力データとして使われる際にこれを悪用できるとしています。この悪意ある指示は、作成中の文書内の数値を改ざんする可能性があります。さらに、その指示は新しく作成された文書自体にも自己複製され、その文書が別のCopilot支援ワークフローで使われることで、攻撃を運ぶ「感染源」となってしまいます。

Måløy氏は次のように指摘しています。「私の知る限り、これは主流の商用生産性スイートにおける通常のワークフローを通じて、文書媒介型のAIワームが自己増殖する様子を公に示した、最初期の実証例の一つです」

Microsoftは木曜日、この報告書が明らかにした内容についてCSOonlineに声明をメールで送付しました。

「私たちは、この研究者から報告された知見に対応しました。また、協調的な脆弱性開示のプロセスを通じて協力していただいたことに感謝します。この種のリスクに対処するため、当社は多層防御戦略を採用しており、複数のポイントで悪意ある指示をブロックする保護策を設けるとともに、タスクがユーザーの要求に沿ったものであり続けるよう支援しています」とMicrosoftは述べています。

「技術や脅威の状況が進化するのに合わせ、これらの保護策を継続的に強化しています」と同社は付け加えました。「お客様には、最新のアップデートを導入し、複数層のセキュリティ保護を利用し、出所不明なコンテンツには注意を払い、AIが生成したコンテンツは利用・共有する前に確認することをお勧めします」

既存の防御を回避する仕組み

ニューヨークを拠点とする技術コンサルティング会社Tribeca Softtechの最高戦略責任者(CSO)であるAman Mahapatra氏は、この脆弱性で使われている仕組みを検証した結果、見た目以上に深刻な問題だと述べています。企業が現在導入している防御機構のほぼすべてを回避してしまうためです。

「これはワームです。つまり、Copilotを伝播の手段として利用し、正当な企業内コラボレーションを配送経路として使う、自己増殖型のマルウェアパターンです。文書自体は配信された時点では悪意あるものではなく、Copilotがそれを処理した時点で悪意あるものへと変わるため、従来のメールセキュリティ制御をすべてすり抜けます。しかも情報の持ち出しはユーザー自身の認証済みCopilotセッションを通じて行われるため、DLP(データ漏洩防止)もすり抜けてしまいます」とMahapatra氏は述べています。「さらに、コードは一切実行されず、企業が明示的に許可しているAIサービスが指示に従うだけなので、エンドポイント保護もすり抜けます」

同氏はまた、研究者たちがこの種の攻撃について2年前から警鐘を鳴らしてきたことにも言及しています。

Microsoftの対応状況

Måløy氏によると、同氏は3月3日以降Microsoft Security Response Center(MSRC)と協力を続けており、Microsoftはその後、複数の的を絞った小規模な緩和策を実装・配布しました。しかし、脆弱性の根本的な部分はまだ修正されていません。

同氏は、活動中の脆弱性を公表することにはためらいがあったものの、今こそ公表すべき時だと感じたと述べています。

「私の考えでは、防御側は自分たちが認識していないリスクへの露出を減らすことはできません」とMåløy氏は記しています。「そして、ここで説明した伝播の仕組みは、多くの組織がすでに依存している通常の文書ワークフローに影響を及ぼすものです」

メールでのインタビューの中で、Måløy氏はMicrosoftが実施した調整について、それでも有効だったと指摘しています。

「今回の協調的な開示プロセスによって、緩和策が実証済みの攻撃対象領域を意味のある形で縮小し得ることが示されました。根本的な問題を完全に排除するには至らなくても、攻撃の信頼性を下げ、その及ぶ範囲を制限することができるのです」と同氏は述べています。

Måløy氏はまた、多くのアナリストやコンサルタントが提案している解決策、すなわちLLMの性質そのものを変更し、指示とそれが処理するデータを完全に切り離すという案についても言及しています。

「指示とデータの分離は解決策の一部にはなり得ますが、実際の業務のワークフローにおいては、データと指示の境界が必ずしも明確ではないと私は考えています。例えば、ユーザーがエージェントに出張の手配を依頼した場合、エージェントは承認済みの旅程を示すメールと、予約手続きが記載された文書を取得する必要があります」とMåløy氏は述べています。

「したがって、より広い意味での課題は、単に外部コンテンツを指示として解釈することを防ぐことではなく、そうした指示がユーザーの目的や、システムが動作している文脈と整合しているかどうかを評価することにあると私は考えています」と同氏は付け加えました。

深刻さを過小評価できない問題

Aikido SecurityのエンタープライズCISOであるMike Wilkes氏は、この状況がもたらしうる問題の大きさは、どれだけ強調しても過大にはならないと述べています。

「これは重大な問題です。なぜなら、プロンプトインジェクションを、単発の侵害されたやり取りから、自己増殖する可能性のある文書整合性への攻撃へと引き上げてしまうからです」と同氏は述べ、これは自動的に拡散する従来型のワームではないと指摘しています。感染した文書がモデルのコンテキストに取り込まれるには、依然としてユーザーやCopilotのワークフローがそれを持ち込む必要があります。「しかし、一度それが起きてしまえば、悪意ある指示は業務情報を改ざんし、生成されたWord文書の中に自らを隠し、正当な社内ファイルを次の感染源へと変えてしまう可能性があると報告されています」と同氏は述べています。

同氏はさらに、これによって「財務報告書、契約書、ポリシー文書、パートナー企業との文書が、正当な作成者やMicrosoft 365アカウントに紐づく信頼性を保持したまま、悪意ある挙動を引き継いでしまうという、危険な企業のサプライチェーン」が生まれると指摘しています。

目新しい問題ではない

この欠陥の背後にある核心的な問題は、生成AIがユーザーの入力として提供されたデータと、AIが実行すべき指示とを区別することを苦手としている点にあります。

LexisNexis Risk Solutions GroupのCISOであるFlavio Villanustre氏は、データと指示が混在するという同様の問題が数十年前にデータベースの世界でも起きており、それが今日私たちが「SQLインジェクション攻撃」として知るものになったと指摘しています。しかし同氏によれば、その数年後、データベースアクセス層向けにパラメータ化バインディングが開発され、内部で安全に処理される指示と、信頼できない出所から届く可能性のあるデータとが分離されるようになりました。「LLMをはじめとするAIについても、同じことが必要です」と同氏は述べています。

Moor Insights & StrategyのVP兼プリンシパルアナリストであるMike Leone氏も同じ見解を示しています。

「この件については、思わず苦笑してしまいます。データが命令を下せるかどうかという疑問は、SQLインジェクションの時代からずっと問われてきました。あの時は、データベースに指示と値を区別する手段を持たせることで解決しました」とLeone氏は述べています。「それから30年経った今、私たちはその区別を全くつけられないソフトウェアの一大カテゴリーを丸ごと作り上げてしまったのです」

Conifers.aiのCEOであるTom Findling氏も、データと指示の区別という問題こそが最大の課題だと考えていると述べています。

「データと指示を分離するという課題は、モデル層においていまだ解決されていません。各研究機関は着実に進歩を遂げていますが、それだけを唯一の対策とするには不十分です」と同氏は述べ、次のように強調しました。「Microsoftはそれを待つ必要はありません。Copilot内部で伝播を遅らせることは可能です。隠されたコンテンツが新しい文書に書き込まれるのを止めること、使用される前に隠されたテキストを表面化させること、Copilotが読み取った内容の信頼レベルを保持すること、そしてAIが生成したすべての変更を可視化することです」

修正には業界全体の合意が必要

しかし、IDCのセキュリティ担当グループ担当バイスプレジデントであるFrank Dickson氏は、根本的な修正には業界全体の合意が必要だと主張しています。

「根本的な修正には、業界全体が同じアーキテクチャ上の変更に足並みを揃える必要がありますが、各社の利害関係や、主要プレイヤー同士が決して親密な関係にはないという事実を踏まえると、それが近いうちに実現することはないでしょう」と同氏は述べ、指示とデータの分離は、すべての主要ベンダーにおいてモデルないしプラットフォームのレベルで組み込まれる必要があると指摘しています。「現時点でその取り組みを商業的に評価しているベンダーは一社もありません。したがって、これは数年単位の研究課題として捉えるべきであり、CISOがその完成を待って対応を先延ばしにすべきものではありません」

これに対しLeone氏は異なる見解を示し、単一のベンダーであっても、少なくとも自社の顧客に対してはかなりのことができると主張しています。

「Microsoftは昨年から、間接的なプロンプトインジェクションを完全に防ぐことはできないと公に認めています。取り繕うのではなく、それを公然と口にした点は評価すべきです」とLeone氏は述べ、業界全体が足並みを揃えて動く必要はないと指摘しています。「この攻撃は単一の製品の中で完結しています」と同氏は言います。「MicrosoftがCopilotの文書処理経路を強化すれば、他社がどう動くかにかかわらず、Copilotの顧客はより安全になります」

Dickson氏はさらに、この脆弱性のもう一つの重大な問題として、感染源となる文書が正当な従業員によって正規のツールを使って作成される点を挙げています。「そのため、いったんペイロードが動き出しても、その発生源を特定できる明確な起点が存在しません。誰も気づかないまま、組織が何週間もの間、自らのワークフローを通じて改ざんされた財務数値を『ロンダリング』し続けてしまう可能性があります」

有効となり得る対策

とはいえ、専門家たちはこの問題への対処を目指すCISOに向けて、いくつかの具体的な提案を示しています。

IDCのDickson氏は次のように述べています。「今のところ最も有効な手段は、モデルの外側、つまりCopilotが人間による選択を経ずにセッションへ取り込むことを許される信頼できないコンテンツの量をどれだけ制御できるかという点にあります」。同氏は、企業がCopilotの自動検出機能をオフにするか制限し、投入する文書を人間が明示的に選択するよう義務付けることができると指摘しています。「それだけでも、この攻撃が足がかりを得る二つの経路のうち一つを塞ぐことができます」と同氏は述べています。

IDCはまた、財務文書やその他重要な文書についてCopilotが加えた変更を可視化する差分表示(レッドライン)を用意し、変更内容を人間が承認することを必須とするよう提案しています。「これは技術的な解決策ではなく、ワークフロー上の解決策ですが、今すぐにでも導入可能です」とDickson氏は述べています。

同氏はまた、ITが文書に付随するメタデータの中で、そのコンテンツがどこから来たものか、AIシステムによってどこが操作されたかを追跡すべきだとも述べています。「それによってインジェクション自体を止めることはできませんが、何かがすり抜けてしまった場合に、組織がその拡散範囲を実際に追跡できるようになります。3件先の報告書で改ざんされた数値を発見しても、その経路を再構築する手立てが何もない、という事態を避けられるのです」と同氏は述べています。

しかし、Fortraのセキュリティ研究開発担当ディレクター代理であるTyler Reguly氏は、この脆弱性が意味のある影響をもたらすとは見ていないと述べています。同氏の言葉を借りれば、これはいわば「実験室内でのみ成立する脆弱性」に感じられるためです。

通常の企業のワークフローには、侵害の成立に必要ないくつかの手順が含まれていない、と同氏は指摘します。むしろ、社員はWord文書をダウンロードしないよう訓練されているのが実情だと述べています。さらに同氏によれば、報告書中でぼかされていた事例をよく見ると、悪意ある文書には一見白紙に見える追加ページが含まれており、そこに白色のテキストで隠されたプロンプトが埋め込まれていたといいます。

「外部から届いたWord文書をダウンロードするよう誰かに説得されたとしても、そのようなページを目にすれば、私なら警戒信号が灯ります」と同氏は述べています。総じて、「これが成立するには、あらゆる条件が重なる『パーフェクトストーム』が必要に思えます」