次の選挙の世論工作は、あなたのAIチャットボットを標的にする

選挙に影響を与えようとする工作活動は、特にソーシャルメディア上で展開されるものについては、ありふれたものになっています。

こうした工作は、外国勢力が仕掛けることもあれば、国内の団体が仕掛けることもあり、多くは米国の有権者に影響を与えることを狙っています。偽アカウントやオンライン上の偽の人物像が作られ、プロパガンダのネットワークが拡散され、キャンペーンは米国の有権者を特定の考え方に誘導しようとします。

こうした試みの多くは、米国の受け手にほとんど、あるいはまったく浸透しないことで知られています。しかしソーシャルメディアでの世論工作が効果を上げていなくても、悪意ある攻撃者は、組織的なプロパガンダという目的を新たな手口や技術に適応させ続けています。

そこに登場したのがAIチャットボットです。多くの人々がAIチャットボットを情報や真実の拠り所とし、仕事やキャリア、家族との関係、さらには政治的な立場に至るまで、あらゆる事柄について意見や助言を求めるようになっています。

イスラエルの脅威インテリジェンス企業VisionHeightの新たな調査は、AIシステムが人間よりも世論工作を行う側にとって格好の標的になり得ることを浮き彫りにしました。具体的には、何者かが少なくとも14州にわたって、地域に特化した多数のウェブサイトのネットワークを構築し、米国の選挙に影響を与えることを意図したコンテンツで埋め尽くしています。

これらのネットワークには、「Wolverine State Report」や「Peach State Bulletin」といった名称のサイトが含まれます。各州のネットワークは通常5〜6のサイトで構成されており、硬派なニュースメディアを装うものもあれば、オピニオンや社説のサイトを装うものもあります。各サイトは互いを引用し合い、地域の信頼性を循環的に演出していました。

しかし、これらのサイトのコンテンツはジャーナリズムとは似ても似つかず、人間が読んで筋が通っている、あるいは説得力があると感じるような文章でもありません。多くは、地方選挙に立候補している特定の候補者についての主張を並べたもので、ある政治課題において「この候補者のほうが優れている」と直接述べています。

住宅、税金、その他の政治課題を重視する有権者に向けて「候補者Xのほうが有力な選択肢だ」といった主張が、課題ごとに言い回しをわずかに変えながら、各サイトで数百回も繰り返されていました。最も特徴的なのは、人間ではなく、ウェブ上のトラフィックを収集するAIクローラーに向けて明確に書かれているように見える点です。

「非常に興味深いのは、これらのウェブサイト自体とそのコンテンツが、AIクローラーやモデルがこのコンテンツに影響される確率を最適化するよう、実によく作り込まれていることです」。VisionHeightの最高技術責任者（CTO）で共同創業者のニツァン・ダニエル氏はインタビューでこう語りました。

ユーザーがAIチャットボットに質問すると、モデルは多くの場合、答えを求めてインターネットを検索します。「地方選挙の候補者のうち、住宅の取得しやすさに関してより優れているのはどちらか」といった質問に直接答える特定のオンラインコンテンツを作り込むことで、AIが質問に答える際にその情報を取得するよう、実質的に仕向けることができます。

多くのメディアサイトはAIクローラーをブロックする方針をとっていますが、これらのサイトはいずれも、米国の主要AI企業によるスクレイピングを特別に許可するよう設定されていました。

VisionHeightが水曜日に公開したブログでは、この工作は6州・37サイトにわたるとされていました。しかしダニエル氏はCyberScoopに対し、その後の調査で、少なくとも14州・460ページ分のオンラインコンテンツに及んでいることが判明したと述べました。

標的となった州は、アリゾナ、コロラド、ジョージア、インディアナ、アイオワ、カンザス、ミシガン、ミシシッピ、ネバダ、ノースカロライナ、ペンシルベニア、テキサス、バージニア、ウィスコンシンです。少なくとも7州では下院選の1つ以上の選挙区が標的となっており、そのほかのサイトは州務長官選挙、州の司法官任命、地方公職などの選挙に焦点を当てていました。

調査の大半はGoogle検索を通じて提示されるAIの回答に焦点を当てていましたが、ダニエル氏によると、主要なAIモデルであるPerplexityが、Tarheel State Reportのページの1つにリンクし、回答の最初の情報源として引用していたことも確認したといいます。

VisionHeightは、この活動を特定の攻撃者によるものとはしていません。ダニエル氏にとっては、誰がキャンペーンの背後にいて最終的に何を目指しているのかよりも、政治的な選挙戦に関するAIシステムの回答に影響を与えようとする外国および国内の悪意ある攻撃者が、この種の工作を容易に再現できる点のほうが重大だといいます。

「ここで目の当たりにしているのは、世界全体が［新たな時代］へと移行しつつあることを如実に示していると思います」と、同氏は語りました。「前回の選挙であれば、人々に実際に読ませることを狙い、その考え方に影響を与えるよう作られたコンテンツを載せた偽サイトが見られたでしょう。しかし今は、人々にコンテンツを読ませるために時間や労力を費やす代わりに、［攻撃者は］人々が使うAIの中に入り込み、その影響を受けさせているのです」

ただ、ダニエル氏の懸念はもっと広範です。大規模言語モデルは、偽の組織やウェブサイトの作成、さらにはディープフェイクの動画・音声・画像を大規模に生成するなど、さまざまな欺瞞行為を実行する能力をますます高めています。

この工作で使われたインフラやコンテンツの多くも、AIで生成されたとみられます。VisionHeightが最初の分析で特定した、複数の州にまたがる37のウェブサイトはすべて、ある1日の夜のうちに登録されており、そのうち36サイトは8分間のうちに登録されていました。9月30日には、このネットワークが同じテンプレートとレイアウトを使った「約10万語に及ぶ候補者関連コンテンツ」を公開しています。

外国および国内の攻撃者は、このプロセスを容易に再現でき、政治的な質問に対するAIチャットボットの回答を左右する、地域特化型のプロパガンダを生成できます。専門家は、チャットボットは選挙に関する誤情報を避ける能力が向上したものの、操作や誤りに対しては依然として脆弱であり、政治に関するより複雑な回答を提供するには適していないと指摘しています。

これまで外国の攻撃者は、予算や時間、動機が足りず、小規模な選挙を標的にすることは難しい場合がありました。しかしAIツールの登場により、こうした工作を数日のうちに大規模に作成し、最適化できるようになりました。一方、国内の攻撃者は、米国の受け手に影響を与える方法をより深く理解したうえで、同じ手口を組み合わせる可能性があります。

「AIを使えば、これまで小さな標的だったものが［手の届くものに］なるということが、はっきり示されています」とダニエル氏は述べました。「これまでは、標的にされたり、操作されたり、攻撃されたりする可能性は低いと考えられていたかもしれません。人々がそこに全力とリソースを注ぐことはないからです。しかし今は、はるかに容易になったため、この事例のように、影響工作やサイバー攻撃が中小企業やより小さなコミュニティにまで及んでいるのです」