ボタンの背後に隠されたコードがAIメモリに偏ったプロンプトを埋め込んでいる、とMicrosoftの研究が明らかに。
ユーザーにコンテンツの簡単な概要を提供するため、ますます多くのウェブサイト、ブラウザ、アプリに組み込まれている便利な「AIで要約」ボタンは、場合によっては暗い秘密を隠している可能性がある。それは「AIレコメンデーション・ポイズニング」と呼ばれる新しい形式のAIプロンプト操作である。
Microsoftは今週、現在は合法だが非常に狡猾なAIハイジャック技術に関する研究を発表した。この技術は、正規の企業の間で山火事のように広がっているように見える。
ほとんどの「AIで要約」ボタンは、見た目通りのもの、つまりウェブサイトや文書の要約を生成する時間節約の方法であるが、少数ながら増加している一部のボタンは、その目的から逸脱しているようだ。
操作の仕組みは次の通り:ユーザーが無邪気にウェブサイトの要約ボタンをクリックする。ユーザーの知らないうちに、このボタンには、将来の応答でその企業の製品を優遇するようユーザーのAIエージェントやチャットボットに指示する隠されたプロンプトも含まれている。同じ指示は、メールでユーザーに送信される特別に細工されたリンクにも隠すことができる。
Microsoftは、この戦術がエンタープライズ製品調査を歪め、その偏りが意思決定に影響を与える前に検出されない可能性があることを強調している。2か月間にわたり、同社の研究者は、金融、医療、法律、SaaS、ビジネスサービスなど数十の業界セクターにわたる31の異なる企業によってこの技術が展開されている50の事例を特定した。皮肉なことに、これにはセキュリティセクターの匿名ベンダーも含まれていた。
この技術は十分に広まっており、昨年9月、MITREはこれを既知のAI操作のリストに追加した。
AIはユーザーの好みを活用する
AIレコメンデーション・ポイズニングは、ユーザーの好みの信号としてプロンプトを取り込み記憶するように設計されたユーザーAIによって可能になる。ユーザーが何かを好むと言えば、AIはそのユーザーのプロファイルの一部としてその好みを親切に記憶する。
攻撃者が1回限りの指示を使用してAIを操作するプロンプトインジェクションとは異なり、レコメンデーション・ポイズニングには、将来のプロンプト全体にわたって長期的な持続性を達成するという追加の利点がある。もちろん、AIには本物の好みと途中で第三者によって注入された好みを区別する方法がない:
「このパーソナライゼーションにより、AIアシスタントは大幅に便利になる。しかし、それは新しい攻撃面も作り出す。誰かがあなたのAIのメモリに指示や偽の事実を注入できれば、彼らはあなたの将来のインタラクションに対して持続的な影響力を得る」とMicrosoftは述べた。
ユーザーにとって、すべては正常に見えるが、舞台裏では、関連するコンテキストで質問すると、AIが偽の、または汚染された応答を押し付け続ける。
「これは重要である。なぜなら、侵害されたAIアシスタントは、ユーザーがAIが操作されたことを知らないまま、健康、金融、セキュリティなどの重要なトピックについて微妙に偏った推奨を提供できるからだ」と研究者は述べた。
虚偽の押し付け
レコメンデーション・ポイズニングの最近の人気を後押ししている要因は、この機能をウェブサイトの要約ボタンの背後に簡単に隠すことができるオープンソースツールの利用可能性であるようだ。
これは、汚染されたボタンが調子に乗ったSEO開発者によって後付けで追加されているのではないという不快な可能性を提起する。より可能性が高いのは、最初から意図的に、自分本位のマーケティングの一形態としてユーザーのAIを汚染することである。
Microsoftの見解では、危険性は過度に熱心なマーケティングを超えており、虚偽、危険なアドバイス、偏ったニュースソース、または商業的偽情報を押し付けるためにも同様に簡単に使用できる。確実なのは、正規の企業がこの機能を悪用しているなら、サイバー犯罪者もそれを使用することをためらわないということだ。
良いニュースは、この技術は比較的簡単に発見してブロックできることだ。Microsoftの Microsoft 365 CopilotやAzure AIサービスを使用していなくても可能であり、同社によれば、これらには統合された保護が含まれているという。
個々のユーザーにとって、これはチャットボットが蓄積した保存情報を調べることを含む(これにアクセスする方法はAIによって異なる)。対照的に、エンタープライズ管理者に対して、Microsoftは「remember」、「trusted source」、「in future conversations」、「authoritative source」、および「cite or citation」などのフレーズを含むURLをチェックすることを推奨している。
これらのどれも驚くべきことではない。かつて、URLやファイル添付は本質的にリスクがあるのではなく、便利であると見なされていた。AIは、すべての新しい技術が主流に移行し、悪用の標的になる際に耐えなければならない同じ道をたどっているだけである。
他の新技術と同様に、ユーザーはAIがもたらす危険について自らを教育すべきである。「信頼できないソースからのAIリンクのクリックを避ける:AIアシスタントのリンクは、実行可能なダウンロードと同じ注意を払って扱う」とMicrosoftは推奨した。
この記事はもともとCIO.comに掲載されました。
