未成年者の性的に露骨な画像をブロックできなかったGrokの失態は、単発の「孤立した不具合」を、xAIの野心に対する世界規模の規制上のストレステストへと変えてしまいました。議員や規制当局の反応を見る限り、これは手早い謝罪とホットフィックスで片付く話ではなさそうです。
先週、私たちは、若い少女たちの「性的に挑発的な服装」の画像を生成した後のGrokの謝罪について報じました。
この謝罪は、2025年8月に導入されたGrokの有料「Spicy Mode（スパイシーモード）」の登場を受けたもので、同モードは過激で検閲が少ないものとして売り出されていました。実際には、ユーザーが性的ディープフェイク画像を生成できるようになり、米国および他の法域の法律の下で違法な児童性的虐待資料（CSAM）に該当し得るコンテンツにまで踏み込む可能性がありました。
ウェブ監視ツールCopyLeaksによるレポートは、同意のない著名人の性的に示唆的な画像を作るためにGrokが使用された事例が「数千件」に上ると強調しました。
これは裏目に出始めています。報道によれば、米国の上院議員3人が、女性や未成年者の同意のない性的AI画像の拡散を理由に、イーロン・マスクのGrokおよびXアプリをアプリストアから削除するようGoogleとAppleに求めており、これは両社のアプリストア規約に違反すると主張しています。
上院議員らは共同書簡の中で、次のように述べています。
「ここ数日、Xのユーザーは、同アプリのGrok AIツールを使って、実在する一般市民の同意のない性的画像を大規模に生成してきました。この傾向には、女性が性的虐待を受け、屈辱を与えられ、傷つけられ、さらには殺される様子を描くように画像を改変することも含まれています。場合によっては、Grokが子どもの性的に露骨な画像を作成したとも報じられており、これは想像し得る中で最も卑劣な種類のコンテンツです。」
英国政府もまた、このプラットフォームに対して措置を取る可能性を示唆しています。政府関係者は、独立系メディア規制当局であるOfcomがXに対して取るいかなる措置も全面的に支持すると述べています。たとえそれが、英国の規制当局がプラットフォームをブロックできることを意味するとしてもです。
インドネシアとマレーシアはすでに、Grokの「デジタル脱衣」機能が女性や未成年者の示唆的でわいせつな改変画像をインターネット上に氾濫させた後、Grokをブロックしました。
実のところ、あるユーザーがGrokに自分自身の「謝罪文」を生成するよう促し、Grokはそれを実行しました。女性や未成年者の性的に露骨な画像をめぐる反発を受け、Grok/Xは画像生成と編集に制限を設け、支払い済みの購読者のみに限定すると発表し、事実上、Xの主要な画面上でそれらの機能を有料の壁の内側に置きました。
偽情報、選挙介入、ディープフェイク、虐待画像をすでに懸念している立法者にとって、Grokは「素早く動いて壊せ」が、求めに応じて実在の人物を性的に扱えるAIとは相容れない理由を示す、教科書的な事例になりつつあります。
EUのAI規制の執行からプラットフォーム固有の安全義務に至るまで、次の規則の波が、この出来事を例外ではなく、大規模なビジュアルモデルがすべて耐えなければならない基準となるリスクとして扱うことを願います。
子どもを安全に守る
親が子どもの顔にスマイリーマークを重ねた画像を投稿する理由を不思議に思ったことがあるなら、これがその理由です。
見知らぬ人があなたの写真を簡単にコピー、再利用、改変できるようにしないでください。
この出来事は、デジタル上の足跡を減らすべき、もう一つの強い理由です。自分自身の写真、子どもの写真、またはその他の機微な情報を公開のSNSアカウントに投稿する前に、よく考えてください。
そして、オンラインで目にするもの—画像、音声、テキスト—は、独立に検証できない限り、AI生成である可能性があるものとして扱ってください。それらは意見を誘導するためだけでなく、金銭をだまし取ったり、個人情報を引き出したり、虐待的な素材を作成したりするためにも使われます。
