AI動画の生成元を追跡する新ツールが登場

画面に次の応募者が映し出され、面接の準備が整います。質問は滞りなく進み、応募者はすべて的確な回答をしているようで、経歴確認もすでに済んでいます。こうして、その人物は最新のリモートITワーカーとして採用されます。数週間後、その企業は、これがすべて偽装だったことを知ります。ビデオ通話に映っていた顔はディープフェイク技術で加工されたものであり、声さえも人工知能(AI)によって変えられていました。採用したはずの人物は、実在していなかったのです。

AIは極めて本物らしい動画を生成できるようになっており、偽情報の拡散、ソーシャルエンジニアリング、なりすまし・アイデンティティ窃盗、そしてディープフェイクに悪用される恐れがあります。その精巧さは、YouTubeのリサーチインターンでカリフォルニア大学リバーサイド校の博士課程に在籍するRohit Kundu氏でさえ、日々研究していながら本物と偽物の区別がつかないというレベルにまで達しています。

AI生成動画の急増とその品質の高さを受け、カリフォルニア大学リバーサイド校の研究チームは、生成AI動画の発信元特定(Source Attribution of Generative AI、SAGA)ツールを開発しました。このフレームワークは、動画が本物か否かの判定に加え、使用された生成モデルの特定、そのモデルのバージョン、さらには開発チームの特定まで行うことができ、より詳細なフォレンジック調査の一助となります。

動画がAIによって生成されたかどうかを知るだけでは、もはやこの脅威を抑え込むには不十分です。ネット上に出回り、人々を欺き、危険な結果を招く偽動画の数を減らすには、その発信元を特定する必要があります。

Kundu氏をはじめとするカリフォルニア大学リバーサイド校の研究者たちは、当初はAI検出、つまり「この動画は偽物か」という点に注力していました。その後、あらゆる種類のAIツールごとに異なるモデルを使い分けるのではなく、あらゆる種類の動画を検出できる単一のモデルを開発しました。

その後、検出にとどまらず、なぜその動画が偽物なのか、どの部分が偽物と判断される要因なのかを説明できる推論モデルの構築へと進みました。動画が偽物であることとその理由を確認できるようになると、次はその動画を作成するために使われたツールを特定するという課題へと発展しました。

研究者たちは公開されているサンプルデータを用いて研究を行いましたが、このツールを実社会に適用すれば、偽動画の作成に最も多く使われているモデルを特定する助けとなり得ます。こうした偽動画の多くはソーシャルメディアに溢れ、有害なコンテンツを拡散させています。この情報を共有することで、モデルの開発元がデータフィルターや保護機能を改善する助けになると、Kundu氏はDark Readingに語っています。

「もし特定の大手企業のモデルが悪用されているなら、その企業に『あなたたちの技術を使って多くの動画が生成されています。もっと制限を強化すべきです』と伝えたいのです」と同氏は述べています。

SAGAは実世界で通用するか

AIであっても、偽動画を見破ることは難しく、ましてやその発信元を特定するのはなおさら困難です。SAGAが研究室の外に出れば、課題はさらに増えることになるため、研究者たちは対策を用意する必要がありました。

研究チームはこのツールを基盤モデルの上に構築しました。そのため、実環境で運用され、学習時のデータから外れたものに遭遇しても、「よくある領域のずれに戸惑うことはない」とKundu氏は説明します。誰かがソーシャルメディアに動画をアップロードすると、両者の動画は同じ領域に属することになりますが、開発・展開を支える中核インフラである基盤モデルのバックボーンが、こうした類似性がモデルの性能に影響を及ぼさないようにしていると同氏は付け加えます。

研究者たちはまた、動画データの処理と分析を行うフレームワークである、独自のビデオ・トランスフォーマー・アーキテクチャの有効性も実証しました。SAGAのアーキテクチャは動画の発信元特定に特化して調整されており、導入も容易だとKundu氏は述べています。

研究者たちは、このモデルが発信元の特定にこれほど成功した理由を突き止めたいと考えました。その成果をまとめた白書の中で、彼らは時間的シグネチャ(T-Sigs)がこのモデルの発信元特定を可能にしている要因であると提唱しました。モデルは文字通り、自らの正体を明かすシグネチャを残していたのです。彼らの調査により、T-Sigsとはフレームが時間の経過とともにどう変化するかを示すものであることが判明し、この分析は今後のより高度な研究の良い土台となります。

生成モデルが異なれば、時間的アーティファクト、つまりパターンも異なり、これが発信元特定の助けとなります。Kundu氏によれば、ユーザーが2つのモデルに同じプロンプトを与えた場合、同じ種類の動画が生成されることはあっても、そこには必ず不整合が存在するといいます。

これらは非常に微細で肉眼では見分けにくいものですが、時間的シグネチャはフォレンジック調査において、その動画の生成に使われたモデルの特定に役立つと同氏は説明します。

「異なる生成モデルは、それぞれ異なる時間的アーティファクトを持つことが分かっています」と同氏は述べています。「2つの生成器に同じプロンプトを与えれば、同じ種類の動画が生成されるはずですが、時間的な不整合の現れ方はそれぞれ異なるのです」

脅威の鎮静化に向けた協力体制

Kundu氏がSAGAに望むのは、発信元の特定だけではありません。同氏はこのツールを通じて、偽動画という蔓延する問題への対応に向けた、より協力的な環境を築くことも目指しています。同氏は、特定の生成器の動画が頻繁にフラグを立てられるようになれば、ユーザーの安全性が高まることを期待しています。SAGAは新しいモデルに対して先手を打って警告を発する用途にも活用できる可能性があります。

「あなたたちの技術が偽動画の作成に使われているようだ、それもこういう種類の動画だと伝えるのです。もしかすると有害なコンテンツを生成しているのかもしれません。それは、特定の生成モデルがその種のプロンプトに対して脆弱である可能性を示しています」と同氏は付け加えます。

検出、推論、発信元特定を制した今、研究者たちは次なる段階、すなわち能動的な防止策へと歩みを進めます。有名人や政治家を装って偽情報を拡散する悪質なディープフェイクであれ、経営幹部になりすましてビジネスメール詐欺を仕掛ける脅威アクターであれ、そもそも安全でないコンテンツが一切生成されないようにすることが目標です。