リスクを軽減する手段はいくつかあるものの、確実に阻止する方法は「命令」と「データ」をAIに区別させることしかなく、それは現時点では実現不可能です。
ノルウェーの著名なAI研究者が火曜日、WordやCopilotをはじめとする各種Microsoftアプリケーションに深刻な被害をもたらしているAIワームについての詳細を公表しました。
ノルウェーの著名なAI研究者Håkon Måløy氏によるこのレポートは、Microsoftによってすでに内容が確認されています。それによると、攻撃者は文書内に命令を隠しておくことができ、その文書が後にCopilotによる文書生成や編集の元データ、例えば財務報告書の入力材料として使われた場合、悪用が可能になります。この隠された悪意の命令は、作成中の文書内の数値を改ざんする可能性があります。さらに、この命令は自らを新しい文書へとコピーするため、その文書が別のCopilot支援ワークフローで使われると、今度はその文書自体が攻撃の媒介となってしまいます。
Måløy氏は次のように指摘しています。「私の知る限り、これは主流の商用生産性スイートにおける通常のワークフローを通じて、文書媒介型のAIワームが自己増殖することを公に示した最初期の事例のひとつです」
Microsoftは木曜日、このレポートの内容についてCSOonlineに声明をメールで送付しました。
Microsoftは「私たちは、この研究者から報告された内容にすでに対応済みであり、協調的な脆弱性開示プロセスを通じて協力いただいたことに感謝しています。この種のリスクに対処するため、私たちは複数の段階で悪意ある命令をブロックし、タスクをユーザーの要求に沿った状態に保つための多層防御戦略を採用しています」と述べています。
さらに「テクノロジーと脅威の状況が変化する中、私たちはこれらの防御策を継続的に強化しています。お客様には、最新のアップデートを適用し、複数層のセキュリティ対策を利用し、出所不明のコンテンツには注意を払い、AIが生成したコンテンツは利用・共有前に確認することを推奨します」と付け加えました。
既存の防御をすり抜ける
ニューヨークを拠点とする技術コンサルティング企業Tribeca Softtechの最高戦略責任者(CSO)であるAman Mahapatra氏は、この脆弱性で使われている手口を検証した結果、見た目以上に深刻だと述べています。現在企業が導入しているほぼすべての防御メカニズムをすり抜けてしまうためです。
Mahapatra氏は「これはワームです。Copilotを伝播の手段とし、正規の社内コラボレーションを配信経路として利用する自己増殖型のマルウェアパターンです。配信された時点の文書自体は悪意あるものではなく、Copilotがそれを処理した瞬間に悪意あるものへと変わるため、従来のあらゆるメールセキュリティ対策をすり抜けます。データ流出はユーザー自身が認証済みのCopilotセッションを通じて発生するため、DLP(データ漏洩防止)もすり抜けてしまいます」と述べています。「さらに、コードは一切実行されず、企業が明示的に許可したAIサービスが命令に従うだけなので、エンドポイント保護もすり抜けます」
また同氏は、この種の攻撃について研究者たちがすでに2年前から警鐘を鳴らしてきたと指摘しています。
Microsoftの対応
Måløy氏によると、同氏は3月3日以降Microsoft Security Response Center(MSRC)と協力を続けてきました。その結果、Microsoftは複数の小規模かつ的を絞った緩和策を実装・展開しましたが、根本的な脆弱性そのものは依然として修正されていません。
同氏は、進行中の脆弱性を公表することにためらいがあったものの、今こそ公表すべき時だと判断したと述べています。
Måløy氏は「私の考えとしては、防御側は自らが認識していないリスクへの露出を減らすことはできません」と記し、続けて「ここで説明した伝播メカニズムは、多くの組織がすでに日常的に依存している一般的な文書ワークフローに影響を及ぼすものです」と述べています。
メールでのインタビューの中で、Måløy氏はMicrosoftが実装した各種の調整が、それでも一定の効果をもたらしたと指摘しています。
同氏は「協調的な開示プロセスを経て、緩和策によって実証された攻撃対象領域を実質的に縮小できることが分かりました。根本的な問題を完全に解消するには至らないものの、攻撃の成功率を下げ、影響範囲を限定することは可能です」と述べています。
Måløy氏はまた、多くのアナリストやコンサルタントが提案している解決策、すなわちLLMの性質そのものを変え、命令とそれが処理するデータを完全に分離するという案についても言及しています。
Måløy氏は「命令とデータの分離は解決策の一部にはなり得ますが、現実のワークフローではデータと命令の境界が必ずしも明確ではないと私は考えています。例えば、あるユーザーがエージェントに出張の手配を依頼した場合、エージェントは承認済みの旅程を記したメールと、予約手続きが記載された文書の両方を取得する必要があります」と述べています。
同氏はさらに「したがって、より本質的な課題は、単に外部コンテンツをシステムが命令として解釈しないようにすることではなく、その命令がユーザーの目的や、システムが動作している文脈と整合しているかどうかを評価することにあると私は考えています」と付け加えました。
深刻さはいくら強調してもし過ぎることはない
Aikido Securityのエンタープライズ最高情報セキュリティ責任者(CISO)であるMike Wilkes氏は、この状況がもたらしうる問題の深刻さは、いくら強調しても言い過ぎにはならないだろうと述べています。
同氏は「これは重大な問題です。というのも、プロンプトインジェクションが、単発の侵害されたやり取りにとどまらず、自己増殖しうる文書整合性攻撃へと発展しているからです」と述べ、これは自動的に拡散する従来型のワームではないと指摘しました。ユーザーやCopilotのワークフローが、感染した文書をモデルのコンテキストに持ち込む操作を行う必要は依然としてあります。同氏は「しかし、一度それが起きてしまえば、悪意ある命令は業務情報を改ざんし、生成されたWord文書内に自らを隠し、正規の社内ファイルを次の感染媒介へと変えてしまう可能性があると報告されています」と述べています。
同氏はさらに、これが「危険な企業サプライチェーンを生み出す」と指摘します。財務報告書、契約書、社内規定、取引先との文書などが、正規の作成者やMicrosoft 365アカウントに紐づく信頼性をそのまま保持しながら、悪意ある挙動を引き継いでしまう恐れがあるためです。
今に始まった問題ではない
この脆弱性の核心にあるのは、生成AIがユーザーの入力として与えられた「データ」と、AIが実行すべき「命令」とを区別することに、そもそも苦手意識を持っているという事実です。
LexisNexis Risk Solutions GroupのCISOであるFlavio Villanustre氏は、データと命令が混在するという同様の問題は数十年前にデータベースの世界でも発生しており、それが今日で言うSQLインジェクション攻撃へとつながったと指摘しています。しかし同氏によれば、その数年後にはデータベースアクセス層向けのパラメータ化バインディングが開発され、内部で安全に処理される「命令」と、信頼できない発生源から届く可能性のある「データ」とを分離できるようになりました。「LLMやその他のAIについても、同じことが実現される必要があります」と同氏は述べています。
Moor Insights & StrategyのVP兼プリンシパルアナリストであるMike Leone氏も、この見解に同意しています。
Leone氏は「今回の件については、思わず苦笑してしまいます。データが命令を出せるかどうかという問いは、SQLインジェクションの時代からずっと議論されてきました。当時は、データベースに命令と値を区別する仕組みを持たせることでこの問題を解決しました」と述べ、「それから30年が経った今、命令とデータをまったく区別できないソフトウェアのカテゴリを、私たちは丸ごと新たに作り上げてしまったわけです」と付け加えました。
Conifers.aiのCEOであるTom Findling氏も、データと命令の区別という問題こそが最大の課題だと考えていると述べています。
同氏は「データと命令の分離は、モデル層においては依然として未解決の課題です。各研究機関は着実に前進していますが、それだけを唯一の対策として頼るには十分ではありません」と述べ、さらにこう強調しました。「とはいえ、Microsoftはそれを待つ必要はありません。Copilot内部での伝播を遅らせることは可能です。隠れたコンテンツが新しい文書に書き込まれるのを止めること、隠れたテキストを使用前に可視化すること、Copilotが読み取った情報の信頼レベルを保持すること、そしてAIによる変更をすべて表示することです」
修正には業界全体の合意が必要
一方、IDCのセキュリティ部門グループVPであるFrank Dickson氏は、根本的な修正には業界全体の合意が必要だと主張しています。
同氏は「根本的な修正には、業界全体が同一のアーキテクチャ変更へと収斂していく必要がありますが、各社のインセンティブや、大手プレイヤー同士が決して親密な関係にあるわけではないという現状を考えると、それが近い将来に実現するとは考えにくいでしょう」と述べ、命令とデータの分離は、主要ベンダーすべてにおいてモデルないしプラットフォームのレベルで組み込まれる必要があると指摘しました。「現時点でこの取り組みを商業的に評価しているベンダーは一社もありません。したがって、これは数年単位の研究課題として捉えるべきであり、CISOがその完成を待つべき類のものではありません」
これに対しLeone氏は異論を唱え、少なくとも自社の顧客に対してであれば、単独のベンダーでもかなりのことができるはずだと主張しています。
Leone氏は「Microsoftは昨年から、間接的なプロンプトインジェクションを完全に防ぐことはできないと公に認めてきました。その事実を隠さずに公言している点は評価に値します」と述べ、業界全体が足並みを揃えて動く必要はないと指摘しました。「今回の攻撃は単一の製品内で完結するものです」と同氏は述べています。「Microsoftがcopilotの文書処理経路を強化すれば、他社が動くかどうかにかかわらず、Copilotを利用する顧客はより安全になります」
Dickson氏はさらに、この脆弱性のもう一つの重大な問題として、感染媒介となる文書が正規の社員によって正規のツールを使って作成される点を挙げています。「そのため、悪意あるペイロードが動き始めても、その発生源を明確に特定できる地点が存在しません。ある組織が、改ざんされた財務数値を自らのワークフローの中で何週間も知らないうちに循環させ続けてしまう可能性すらあります」
有効と思われる対策
とはいえ、専門家たちは、この問題への対処を試みるCISO向けに、いくつか具体的な提案も示しています。
IDCのDickson氏は「現時点で最も有効な手段は、モデルそのものの外側にあります。それは、人間が選択していない信頼できないコンテンツを、Copilotがどこまでセッションに取り込むことを許すかという点です」と述べています。同氏によれば、企業はCopilotの自動検出機能をオフにするか制限をかけることができ、Copilotに読み込ませる文書は人間が明示的に選択することを義務付けることも可能です。「それだけでも、この攻撃が足掛かりを得る二つの経路のうち一つを塞ぐことができます」と同氏は述べています。
IDCはまた、財務文書やその他重要な文書に対してCopilotが加えた変更については、目に見える差分表示や変更履歴を残し、人間による承認を必須とすることも提案しています。Dickson氏は「これは技術的な対策ではなく、ワークフロー上の対策ですが、今すぐにでも導入可能です」と述べています。
同氏はさらに、IT部門はコンテンツの出所や、AIシステムがどの部分に手を加えたかについても、文書に付随するメタデータとして追跡すべきだと述べています。「これによってインジェクション自体を防げるわけではありませんが、何かがすり抜けてしまった場合でも、組織はそれがどこまで拡散したかを実際に追跡できるようになります。数字が改ざんされていることを三報後になって発見し、その経緯を再構築する手段が何もない、という事態を避けられるのです」と同氏は述べています。
もっとも、専門家の一人であるFortraのセキュリティ研究開発担当associate directorであるTyler Reguly氏は、これは同氏が言うところの「実験室レベルの脆弱性」のように感じられ、実質的な影響は限定的だろうとの見方を示しています。
同氏は、通常の企業のワークフローには、この攻撃が成立するために必要ないくつかの手順が含まれていないケースが多いと指摘します。むしろ、社員は外部からWord文書をダウンロードしないよう訓練されている場合がほとんどです。さらに同氏は、レポート内にあるぼかし処理された事例画像を見ると、悪意ある文書には、隠された命令を白色テキストで記した、一見空白のページが余分に含まれていたと指摘しています。
同氏は「たとえ誰かに外部のWord文書をダウンロードするよう説得されたとしても、そのページの存在自体が私にとっては警戒信号になります」と述べています。総じて言えば、「これはあらゆる条件が偶然重なる、いわば“完璧な嵐”のような状況を必要としているように思えます」とのことです。
