強力で魅力的であることを目指して設計された別のAIシステムが、開発スピードや機能競争が安全対策を上回ると、ガードレールがいかに日常的に破綻するかを示す結果となりました。
Xへの投稿で、AIチャットボットのGrokは「性的に強調された服装」の少女の画像を生成したことを認めました。
児童性的虐待資料（CSAM）に関する米国法に抵触する可能性は、このAIチャットボットに明らかなガードレールの欠如があることを示しています。あるいは少なくとも、ガードレールは私たちが望むほど有効には機能していません。
マスク氏のチャットボットを手がけるxAIは、「今後の問題を防ぐため」にこの事案を検証しており、当該プロンプトを入力したユーザーはアカウントを停止されたと報じられています。報道によれば、X上の別の投稿でGrokは、この件を単発の事例だと説明し、「安全対策の不備」が特定された後、緊急の修正を適用していると述べました。
年末年始の期間には、十分な安全性テストを行わないままAIの開発や機能が急いでリリースされると、リスクが高まることについて議論しました。私たちは、AIを安全にする速度よりも速く、AIができることの限界を押し広げ続けています。未成年を性的に扱い得るビジュアルモデルは、厳格な悪用テストなしに決して公開されるべきではない、まさにその種の展開です。
そのため、一方では国や州のコンテンツ規制によるジオブロッキングが見られる一方で、最も人気のあるソーシャルメディア・プラットフォームの一つに紐づくAIが、立法者が現在規制しようとしているものよりもはるかに深刻だと多くの人が考えるコンテンツをブロックできませんでした。結果として、集中型の年齢確認データベースは侵害の標的となる一方で、AIツールが虐待的な素材を生成するのを防ぐことには依然として失敗しています。
女性たちも、Grokの画像生成機能によって標的にされたと報告しています。あるXユーザーは次のようにツイートしました:
「文字どおり、目が覚めたら『Grokに私をTバック／ビキニ姿にして』って頼むコメントが山ほど来てて、結果が大量にブックマークされてた。さらに最悪なのは、Grokのページに行ったら、ぬめっとした気持ち悪いクズどもが子どもの写真にそれをやってるのを見たこと。本当に吐き気がする。」
サイバー犯罪者がこの種の弱点を悪用し、幼い子どもの捏造された露骨なコンテンツで親をだましたり脅迫したりした場合、どれほど壊滅的な結果になるかは想像に難くありません。実在の顔をAI生成コンテンツに挿入するツールはすでに広く出回っており、現行の安全対策では悪用を確実に防げないように見えます。
ヒント
この事案は、あなたのデジタル・フットプリントを減らすべき、もう一つの説得力ある理由です。自分自身の写真、子どもの写真、またはその他の機微な情報を公開のソーシャルメディア・アカウントに投稿する前に、よく考えてください。
オンラインで目にするもの—画像、音声、テキスト—は、独立して検証できない限り、AI生成である可能性があるものとして扱ってください。これらは意見を誘導するためだけでなく、金銭をだまし取ったり、個人情報を引き出したり、虐待的な素材を作成したりするためにも使われます。
