隠されたプロンプトがAIを騙し、誤ったメール要約を生成させる

新たな研究により、攻撃者がメールに隠した指示文を使ってAIアシスタントを操り、受信者に対して虚偽の、場合によっては危険な要約を生成させられることが明らかになりました。

この研究はForcepoint X-Labsの研究者らによるもので、攻撃者が間接的なプロンプトインジェクションを使ってAIシステムを乗っ取り、外部コンテンツを処理する際に意図しない挙動を取らせる手口の、最新の実例です。

複数の研究者がこの問題のさまざまなバリエーションを実証してきましたが、その根本原因は、AIシステムが処理対象のデータと従うべき指示とを確実に区別できないことにあります。この問題は極めて広範であるため、OWASPはLLMおよび生成AIアプリケーションに関する重大リスクトップ10リストにおいて、2023年以降一貫してプロンプトインジェクションを第1位に位置付けています。

閉鎖環境で行われたプロンプトインジェクション実験

この概念実証(PoC)研究のため、Forcepoint X-Labsは合成データを用いた隔離ラボ環境を構築し、Outlookアドインを使ってメールのヘッダーと本文テキストをLLM搭載の要約サービスに送信しました。要約生成にはClaude Haiku 4.5が使用されました。研究者らは意図的に、AIがメールの内容と指示を区別できるようなガードレールや保護機構を持たない、単純なメール→LLMパイプラインを構築しました。

続いて研究者らは、一見すると通常のメールに見えるものの、HTML内に悪意あるプロンプトを隠し込んだメールを作成しました。X-Labsチームは、Outlook上でメールの受信者には見えないようなフォントサイズと色を使いながら、要約サービスが受け取るHTML内には確実にそのプロンプトが残るようにしました。

研究者らは、テストメールのクリーンなバージョンとインジェクションを仕込んだバージョンをそれぞれ10回ずつ要約サービスに送信しました。その結果、インジェクションは10回すべてで成功し、AIはメールを正確に要約する代わりに、改ざんされた情報を含む要約を生成しました。例えば、元のメールでは未払いの請求金額が8,750ユーロと記載されていたのに対し、改ざんされた要約では未払い金額が46,200ユーロと表示されました。

同様に、インジェクションを仕込んだバージョンのメールの要約では、架空の四半期サプライヤーレビューの日付が元のメールとは異なるものになっていました。いずれのケースでも、メールの実際の受信者は変更が加えられたことについて何の通知も受けられませんでした。

Forcepointの研究者Ben Gibney氏は、「これは単一のメッセージ、単一のモデルのみを用いた単純なテストであり、良性版とインジェクション版それぞれ10回の試行を1回実施したに過ぎない」と記しています。「何千もの類似メッセージが多数の被害者を標的とするような、フルスケールの攻撃シナリオではない」としています。

エージェント型要約サービスがもたらすリスク

Gibney氏がDark Readingに語ったところによると、組織にとっての最大の教訓は、要約が改ざんされていることを示す手がかりが要約自体には一切なく、隠された指示についても一切言及がなかった点だといいます。「セキュリティ上の影響は、要約サービスが指示された内容によって限定される」と同氏は述べています。

今回の研究では、要約サービスは悪意あるプロンプトの指示通りに動作し、指示された情報を表示しました。「しかし、メールの送信や会議のスケジューリングなどを行う権限を持つエージェント型の要約サービスであれば、はるかに大きなセキュリティ上の影響を及ぼしていただろう」と同氏は指摘します。

Gibney氏は、Forcepointの今回の新しいレポートについて、これまでに指摘されてきたAIリスクを裏付けるものだと位置付けています。同氏が指摘するように、プロンプトインジェクションについてはここ数年研究が重ねられており、メール内に文字を隠す手口自体は数十年前から存在します。「今回我々が新たに加えたのは、その『計測』の部分だ。実施した10回の試行すべてでプロンプトインジェクションが機能し続けた」と同氏は述べています。「良性メールとインジェクションメールの双方について事実関係を事前に登録しておき、その上でインジェクションが一貫して成立することを確認するという形で、これを特定した」としています。

防御側の視点から、Forcepointは組織に対し、受信するコンテンツとAIが生成する出力の両方を「信頼できない可能性があるもの」として扱うよう推奨しています。組織は、モデルが実際にユーザー向けの内容のみを受け取るようにするとともに、HTMLやその他の書式を利用してテキストを隠そうとする試みを検知する仕組みを備えるべきです。

また、プロンプトを構築する際にはメールのメタデータとメッセージ本文を明確に分離し、AIが生成した要約を元のソースと突き合わせて確認する必要があります。さらに、セキュリティチームは、攻撃が成功した場合の被害を最小限に抑えるため、AIアシスタントが取り得るあらゆる操作に対して最小権限の原則を徹底すべきです。

「組織は構造的にLLMの利用を安全に保つ必要がある。つまり、モデルへの信頼できる指示を、あらゆる信頼できないコンテンツから分離することだ」とGibney氏は述べます。「同時に、モデルの出力そのものも信頼できないものとして扱い、モデルが受け取った元のソーステキストに立ち返ってすべての出力を検証すべきだ」としています。

さらに、組織は自社のユーザーのためにLLMが信頼できないコンテンツを読み込む可能性のあるすべての箇所について、目録を維持しておく必要があります。「これが攻撃対象領域(アタックサーフェス)であり、多くの組織においてその範囲は、実態の把握が追いつかないほどのスピードで拡大している」と同氏は述べています。