xAI・Grokを巡るディープフェイクCSAM訴訟、対象が拡大

ワイオミング州在住のJane Doe 4氏によれば、義父が彼女が11歳のときにソファに横たわっている写真を自身のスマートフォンにアップロードしました。義父はGrokを使い、この写真をもとに7,000点以上のCSAM関連画像を作成しました。さらに、それらの画像をソーシャルメディア上で他者と共有・交換していたといいます。

訴状によれば、義父がGrokを選んだのは「他のAIモデルに比べて制限が緩く、思春期前の未成年者を描いた画像を用いたプロンプトに対しても性的に露骨な素材を生成してしまう」ためだったとされています。

また訴状は、xAI社が2月にこの画像に関して全米行方不明・被搾取児童センター(NCMEC)への通報を行ったものの、証拠として提出したのはオリジナルの本物の写真のみだったと主張しています。訴状によれば、法執行機関がその写真とIPアドレス情報をもとにGrokが生成した数千点の画像の提供を求めた際も、xAI社は応じなかったとされています。これらの情報があれば、義父を加害者として迅速に特定できたはずだといいます。

訴状によると、義父は児童搾取犯罪で逮捕・起訴された2日後に自ら命を絶ちました。この自殺は、Grokによって生成された画像がもたらした「極度の個人的危機」をさらに深刻なものにしました。Jane Doe 4氏は今も日常的に「自己嫌悪と嫌悪感」に苦しみ、画像がインターネット上で他者に発見されるのではないかという「極度の不安」を抱えているほか、うつ症状として過眠や、覚醒時には希死念慮に悩まされているといいます。

2023年のスタンフォード大学の研究によれば、Stable Diffusionモデルの学習に使われたデータセットは、インターネット上のコンテンツを無差別にウェブクロールすることで作成されました。つまり、CSAMを含む「相当量の露骨な素材」が取り込まれていたことになります。Stable Diffusion 1.0にはそうした画像の生成をブロックするための分類器が搭載されていましたが、この学習データの性質上、下流の開発者はモデルをより容易に悪用し、こうした保護機能を回避する改造版を作成できてしまいました。

Stable Diffusion 2.0ではより強固なガードレールが導入されましたが、訴状によれば、Stability AI社は新たな制限を「野暮ったい」「不評だ」とする「不満を持つ」ユーザーの声を受けて、これらの保護機能を後退させたとされています。これが結果として、Stability AI社のモデルをベースにしたジェイルブレイク版「ヌード化アプリ」のエコシステムを助長することになりました。

訴状は「Stability AI社は、自社のモデルが性的に露骨な画像を生成できるようになれば、モデルレベルでの適切な安全対策が講じられない限り、CSAMの生成に悪用されることは十分予見可能だと認識していた」としています。

Stability AI社は、CyberScoopからのコメント要請に応じませんでした。