eSecurity Planet のコンテンツおよび製品推薦は編集部が独立して行っています。パートナーへのリンクをクリックすると、収益が発生する場合があります。 詳細はこちら
生成AIの急速な進歩により、ディープフェイク、なりすまし詐欺、そして改ざんされたコンテンツがソーシャルメディアプラットフォーム全体で引き起こす課題がますます深刻化しています。
合成メディアの生成が容易になり、検出がより困難になるにつれ、企業はより高度なトラストアンドセーフティ戦略の導入を迫られています。
eSecurityPlanetとのメールインタビューにおいて、Wizz AppのCOOであるアレクサンドラ・リャボワ氏は、本人確認、AIによるモデレーション、そしてTAKE IT DOWN法などの規制がソーシャルメディア上のユーザー安全性をどのように強化しているかについて語りました。
主なポイント
- ディープフェイクやAI生成詐欺の検出がますます困難になっており、悪意ある行為者が偽の身元、音声クローン、改ざんコンテンツを大規模に作成できるようになっています。
- 本人確認が主要な防衛戦略として台頭しており、一部のソーシャルメディアプラットフォームは年齢確認と顔照合技術を活用して偽アカウントの削減を図っています。
- AIモデレーションはプラットフォームが大規模に有害コンテンツを識別するうえで役立ちますが、文脈の誤読や誤検知に対処するためには人間による監視が依然として不可欠です。
- TAKE IT DOWN法は、報告されたAI生成の非同意性的画像を48時間以内に削除することをプラットフォームに義務付け、ソーシャルメディア企業のアカウンタビリティを高めています。
ディープフェイクと合成コンテンツの脅威の拡大
ディープフェイクおよびAI生成コンテンツは、ソーシャルメディアプラットフォームにとってトラストアンドセーフティ上の課題として最も急速に拡大しているものの一つとなっています。
リャボワ氏によれば、この課題の根本には、合成コンテンツが作成・拡散される速さと、それを検証・削除するために要する時間との大きな乖離があるといいます。
説得力のあるディープフェイクは数秒で生成できる一方、それを否定するには数日から数週間かかることもあります。
オープンソースAIツールの普及により悪意ある行為者の参入障壁は低下し、偽の身元、加工画像、音声クローン、不正コンテンツの大規模な生成が可能になっています。
こうした脅威は誤情報の域を超え、現在では金融詐欺、性的脅迫、非同意性的画像の拡散、政治的操作にまで及んでいます。
防衛戦略としての本人確認
一部のソーシャルメディアプラットフォームは、ディープフェイク検出のみに頼るのではなく、ユーザーが実在する人物であることを確認するための本人確認手段を導入しています。
リャボワ氏によれば、Wizzは偽アカウントや合成身元を削減する取り組みの一環として、年齢確認と顔照合技術を活用しているとのことです。
また、確認要件を満たせなかったアカウントは毎年4万件以上が永久停止されているとも述べています。
さらに、年齢確認の試みのうち約7%は、真正性への懸念から拒否されています。
確認済みユーザーのみにアクセスを限定することで、自動化アカウントや合成身元が有害コンテンツを拡散する機会を減らしています。
コンテンツモデレーションにおけるAI対AI
生成AIの高度化が進むにつれ、ソーシャルメディアプラットフォームはAI搭載のモデレーションシステムへの依存度を高めており、有害コンテンツの識別に活用しています。
Wizzは現在、自動化された画像・動画モデレーション、行動監視、そして人間によるレビューを含む複数層の保護機能を運用しています。
また同社は、改ざんされたプロフィール画像を識別することに特化した内製のディープフェイク検出システムの開発も進めています。
リャボワ氏はこの取り組みを、防御技術が新たな脅威と並走しながら進化し続けなければならない「AI対AI」の戦いと表現しています。
AIモデレーションはスケーラビリティを向上させる一方で、文脈を誤って読み取り、コンテンツを誤検知することもあります。
リャボワ氏は、ヘアカラーについて話し合っていたユーザーが自傷懸念として誤ってフラグを立てられた事例を挙げました。
こうした事例は、モデレーションの判断における人間による監視の重要性を改めて示しています。
TAKE IT DOWN法のインパクト
「ウェブサイトおよびネットワーク上のディープフェイクを技術的に無効化することで既知の搾取に対処するためのツール（TAKE IT DOWN）」法は、ソーシャルメディア企業に新たな責任を課しています。
最も注目すべき要件の一つは、有効な申告を受けてから48時間以内に、AI生成ディープフェイクを含む非同意性的画像を削除する義務です。
リャボワ氏によれば、同法はプラットフォームに対し、一度削除されたコンテンツが再アップロードされないようにするシステムの導入も求めているとのことです。
このような積極的なアプローチは、被害者からプラットフォームへと責任の所在を移し、コンテンツモデレーションに対するより高い基準を設けるものです。
48時間という期限はリソースが限られた小規模組織にとって厳しい要件となり得ますが、リャボワ氏は当初から安全性を優先してきた企業はコンプライアンス対応において有利な立場にあると述べています。
AIモデレーション、信頼できる安全パートナー、そして業界全体での連携への投資が、組織が規制上の要件を満たす助けとなるでしょう。
今後の展望
AI生成の脅威に対する社会的な認識が高まるにつれ、ユーザーはより強力なプライバシー保護、本人確認、そしてプラットフォームの説明責任を求めるようになっています。
リャボワ氏はこの傾向をポジティブなものと捉え、オンライン安全性に対する期待の高まりを反映していると述べています。
TAKE IT DOWN法は、迅速な対応、積極的な検出、そしてプラットフォームへのより大きな説明責任を重視することで、今後のAI規制のモデルケースとなる可能性があります。
翻訳元: https://www.esecurityplanet.com/threats/deepfakes-ai-scams-and-the-future-of-social-media-safety/
