1983年の映画「ウォーゲーム」は、十代のハッカーが自分がゲームをプレイしていると思いながら、実は軍事システムをリアルタイムで操作することで、世界を核戦争の瀬戸際に追い込む可能性があることを実証しました。しかし今日では、悪意のある活動を通じた世界的なイベントの操作は、実際の物理的な兵器よりも、テクノロジー駆動の オンライン影響力のゲームであることが多く、その結果は同等に深刻です。
ソーシャルメディアを通じたこの操作がいかにして現実の出来事に影響を与える可能性があるかを探るために、オーストラリアの大学はあるアイデアを思いつきました。人工知能(AI)駆動のボットを使用してコンテンツを操作しながらソーシャルメディア上のユーザーと関わり、オンラインインタラクションだけを通じて「公共」舆論の振り子がどこまで振れるかを見るマルチプレイヤーウォーゲームをステージングすることです。
シドニーのニューサウスウェールズ大学(UNSW)が主催する「Capture the Narrative」と呼ばれるこのゲームには、オーストラリア全土の18の大学から270人以上の参加者が参加し、昨年の4週間の期間にわたってLegit Socialと呼ばれるハウスソーシャルメディアプラットフォームを操作しようとしました。ゲームの目標は、南太平洋の架空の島「キングストン」での模擬選挙を一方の政治候補者に有利にすることで、プレイヤーは一方を支持するようにコンテンツを宣伝することを目指すボットを作成しました。
UNSWコンピュータサイエンス学部の上級講師であるハモンド・ピアースとラハット・マスードの仕事であるこのような競技を作成する究極の目標は、伝統的なコーディング慣行ではなく社会的影響に焦点を当てたコンピュータサイエンス学生向けの効果的な「サイバーセキュリティキャプチャーザフラッグ教育ゲーム」を作成することでした。ピアースはDark Readingに語っています。
「学生がAIの誤情報をオンラインで学習できるプラットフォーム、そのような影響と相互作用し、生成し、検出しようとするプラットフォームを作成したかった」と彼は言います。 ピアースはBlack Hat Asia 2026でセッションをホストし、ゲームの結果、AIが生成した偽のコンテンツがソーシャルメディア上で公開スペースに影響を与える可能性のあるレッスン、およびテクノロジーの関係者ができることについて議論します。
偽の選挙、現実世界のインスピレーション
競技の結果—投票を1.8パーセントポイント変動させ、模擬選挙結果を変える十分な結果—はテクノロジー業界、特にソーシャルメディアを通じて拡散されるコンテンツを制御している企業にも関連性があると、ピアースは言います。
実際に、彼はゲームの作成者がAIボットが選挙または政策の影響を与えようとする現実世界の例からインスピレーションを得たと言っています。その一つはオーストラリアで試みられた選挙干渉の事例で、親ロシア作戦が2025年連邦選挙の前にプロパガンダでAIチャットボットを汚染しようとした という証拠がありました。
ピアースとマスードに影響を与えた別のオンラインキャンペーンは、中華人民共和国(PRC)に関連するボットが物語を揺さぶろうとした オーストラリアの「音声」国民投票の周辺で、2023年の憲法国民投票で、国内の先住民にさらなる政治的権利を与えることを目的としていました。ピアースは言います。
米国の人々 も、外部勢力によるそのようなオンライン影響に無縁ではありません。2020年の大統領選挙 に影響を与えるために設計されたロシアのオンライン偽情報キャンペーンの幽霊はまだ大きく ある米国の選挙サイクルを支配しています。そして、ここ数年のAIの急速な成長と拡散に伴い、悪意のある行為者はソーシャルメディアプラットフォームを操作し、舆論に影響を与えるために、これまで以上に多くのツールを自由に使えるようになっています。
ウォーゲーム用カスタムテクノロジー
UNSWチームは「Capture the Narrative」のためにさまざまなカスタムテクノロジーを作成しました。ハウスソーシャルメディアプラットフォームLegit Socialと、ソーシャルメディアフィードを消費する「ノンプレイヤーキャラクター」(NPC)ボットも含まれています。
Legit Socialは「Twitterの初期段階での経験に基づいています[現在はXとして知られています]」とピアースは言います。「投稿、リポスト、返信、いいね、タグ付け、メディアとGIFの埋め込みなど、さらに多くをサポートしています。」
チームはプラットフォームにPythonバックエンドとReactフロントエンドを使用し、トレンドアルゴリズムと時系列フィードもあると彼は言います。
一方、NPCボットは、時間とともに進化する可能性のある性格と信念を定義する40以上の属性を持つカスタムPythonフレームワークで開発されました。これらの「シミュレートされた市民」がソーシャルメディアを使用している—競合者は彼ら自身のボット、または「プレイヤーキャラクター」(PC)を構築するように説得する必要がありました—は12の大規模言語モデル(LLM) インスタンスがネットワークで同時に実行されることによって駆動されていたとピアースは言います。
「ゲームの目標は、人間のプレイヤーがNPCボットを説得してシミュレートされた選挙での投票意図を変更するPCボットを構築することです」と彼は言います。
レッスンと驚き
プレイヤーがゲームの目標を達成することに成功した一方で、彼らはゲームシナリオの外で適用可能なテクノロジーも開発し、現実世界の潜在的な影響戦術を示したと、ピアースは言います。
これには、動的で適応的なスパムのための高度なAIボットシステムの構築が含まれました。感情分析のための大規模コンテンツスキャンと特定のアカウントを識別してマイクロターゲットすること。そして、最大のエンゲージメントのためにコンテンツとトーンを継続的に適応させるクローズループシステムを構築することは、彼がDark Readingに伝えています。
「チームは調査されたとき、AIコンテンツに関する興味深い見方を提供し、彼らが本物のソーシャルメディアに似たパターンを見ることができることに気付きました」と彼は言います。
ゲームはまた、チームが生成したコンテンツの品質とスケールに関して驚きをもたらしました。彼らの予算はAU$0からAU$100でした。「数百万の動的投稿と大規模なコンテンツスキャンの間に、サーバーが負荷でクラッシュした複数のインスタンスがありました」とピアースは認めています。
全体として、競技とその結果は、教授と学生に貴重なツールを提供しただけでなく、テクノロジープロバイダー、立法者、その他の関係者に将来のAIおよびソーシャルメディア開発の見方を提供することもできると彼は言います。その1つは、ソーシャルメディアプラットフォームのゲートキーパーが「説得して混乱させるために設計されたAI生成の偽のコンテンツを確認し、大規模に削除することを確認するためにより多くを行う必要がある」ということです。ピアースは言います。
同時に、インターネットを使用する誰もが「そのようなコンテンツが自律的に、大規模に生成および伝播することがどの程度容易であるか」について自分自身を教育する責任があると、ピアースは言い、公共部門 が万人の利益のためにこの教育の促進と支持に積極的に関与すべきであると付け加えています。
翻訳元: https://www.darkreading.com/cyber-risk/wargame-demonstrates-social-media-manipulation