2024年を通じて、OpenAIはSoraの一般公開を予告してきました。Soraはユーザーのプロンプトからリアルな映像を生成できる新しい動画生成大規模言語モデルです。
しかし、重要な米国大統領選挙の年にリアルな偽情報を作成するためにこのツールが悪用される懸念から、同社は選挙終了までリリースを延期しました。
そして1年後、批評家たちはSoraの現実歪曲力に対する懸念が現実となり、偽造または操作されたAIコンテンツが、ほとんどラベル表示もなく、インターネット上に氾濫していると警告しています。
「Sora 2の拙速なリリースは、OpenAIが本質的に安全でない、または必要なガードレールが欠如した製品を市場に急いで投入するという一貫した危険なパターンを示しています」と、非営利団体Public CitizenでAIの説明責任を担当するJ.B.ブランチ氏は、11月11日付でOpenAIのCEOサム・アルトマン宛ての書簡で述べました。
ブランチ氏はさらに、Sora 2のリリースは、製品の安全性、公人の名前や画像がディープフェイクされる権利、その他の悪用から消費者を守る保護に対する「無謀な無視」を示していると付け加えました。
Public Citizenは、OpenAIに対し、一時的にツールをオフラインにし、外部の専門家と協力してより良いガードレールを構築するよう求めています。
「私たちは、この展開を一時停止し、法的専門家、公民権団体、民主主義擁護者と協力して、Soraに関する現実的かつ厳格な技術的・倫理的なレッドラインを確立することを強く求めます」と同団体は述べています。
大規模言語モデルは数年前からディープフェイクを作成できましたが、当時の技術には、人の指が5本以上ある、映像が不自然に滑らか、物理法則に反するなど、識別可能なビジュアルの手がかりが多く存在していました。
過去1年で、Soraのような新しいツールはこれらの技術的障害の多くを克服し、今ではリアルな動画を生成できるようになりました。動画が偽物であることを示す唯一の手がかりは、右下隅にある小さなOpenAIのウォーターマークだけです。サイバーセキュリティの専門家によれば、多くの場合、悪意のある人物がこのラベルを簡単に削除したりトリミングしたりして、あたかも本物のようにSNSで拡散できてしまうとのことです。
さらに問題を複雑にしているのは、OpenAIや他のAI画像・動画生成ツールがこれまで政治家や有名人、著作権キャラクターのなりすましを防ぐ努力をしてきた一方で、Sora 2は当初これらのガードレールが一切ない状態でリリースされたことです。リリース初週には、アルトマン氏がピカチュウを焼いているなど、アニメ「ポケモン」の人気キャラクターや著作権で保護された他の架空の人物の動画がユーザーによって多数共有されました。
Jumioの最高製品・技術責任者バラ・クマール氏は、Sora 2について「一般の人々にとってディープフェイクのハードルを下げている」と述べました。
「しかし、一般の人々にとって使いやすいということは、悪意のある人物による悪用にもつながります」とクマール氏は付け加えました。「これらの動画には小さなウォーターマークがありますが、詐欺師は簡単にそれを削除できます。」
10月には、俳優ブライアン・クランストン氏や全米映画俳優組合（SAG-AFTRA）からの抗議を受けて、OpenAIはSoraで実在の有名人や著作権キャラクターの動画生成を禁止する方針に変更しました。
しかし、それでもOpenAIの規則に違反せずにリアルで混乱を招くディープフェイクを作成することは可能です。例えば、公人に関する禁止は生存している人物にのみ適用されるため、ユーザーは故人の公人の動画を生成することができます。
これにより、ラッパーの2パック・シャクールやザ・ノトーリアスB.I.G.がプロレス風の抗争を繰り広げたり、歌手のマイケル・ジャクソンがファストフード店で踊りながら客からチキンを盗むなど、一見無害な娯楽動画が生まれています。
しかし、ワシントン・ポスト紙が報じたように、Sora 2は故人の公人に対する人種差別的な動画の作成にも使われています。例えば、マーティン・ルーサー・キング・ジュニアがどもってよだれを垂らす動画や、ジョン・F・ケネディが右翼の著名人チャーリー・カークの暗殺について冗談を言う動画などです。OpenAIはキング牧師の動画を「不敬」とし、遺族が抗議した後に削除しました。
歴史上の人物にとどまらず、Soraや他のツールは、現時点で話題となっている政治的問題に便乗した偽動画を簡単に作成し、拡散させることができます。最近の例では、アメリカ人が食料品店や車内などで食品価格に怒りを示す動画が一連で投稿されました。
これらの動画は、議会とホワイトハウスが政府予算（補助的栄養支援プログラム（SNAP）への資金を含む）をめぐって対立していた時期に登場しました。動画ではAI生成の人物が「こんなもん一銭も払わねえよ」や「私の子供の面倒を見るのは納税者の責任だ！」などと発言しています。
どのモデルで動画が生成されたかは明らかではありませんが、中には一瞬だけSoraのウォーターマークが見えるものもあり、Fox Newsのようなメディアは当初これらの動画を本物として扱い、「SNAP受給者が政府閉鎖で店舗を襲撃すると脅迫」といった見出しで報じました。Fox Newsは後に記事と見出しをAI生成である旨に修正し、その記事は現在削除されています。
政治分野以外でも、これらのツールはテレビに出たり権力を持ったりしていない一般のアメリカ人の生活を大きく揺るがす可能性があります。生成AI時代におけるディープフェイクの最も一般的な用途は、女性を標的とした同意のないポルノです。
Public Citizenの書簡は、Sora 2を使ったポルノ生成を人々が行っていると非難してはいませんが、OpenAIがSoraのSNSプラットフォーム上で「ヌードではないフェティッシュコンテンツ」の拡散を許していると批判しています。
「未成年者が性的文脈で描写されることに関する危険なほどのモデレーション不足があり、Sora 2は公共利用に適していません」とPublic Citizenは述べています。
OpenAIは、Public Citizenの書簡についてCyberScoopからのコメント要請に、本記事執筆時点で回答していません。
翻訳元: https://cyberscoop.com/sora-2-deepfake-letter-public-citizen-openai/
