テストの結果、FoloToyのAIテディベアは、親しみやすい会話から性的な話題や安全でない家庭内アドバイスへと急展開しました。これは人工知能がいかに簡単に重大な境界線を越えてしまうかを示しています。AI搭載のぬいぐるみが子どもに適切かどうか、今こそ問い直す時です。
人工知能の興奮に巻き込まれるのは簡単です。特に、ぬいぐるみのテディベアとして「
温かさ、楽しさ、そしてちょっとした好奇心。
」を約束されたらなおさらです。しかし、最近のKummaベアを巡る論争は、子ども向けのおもちゃにAIを導入する際には慎重になり、より厳しい問いを投げかける必要があることを思い出させてくれます。
シンガポールを拠点とするおもちゃメーカーFoloToyは、99ドルのベアを「子どもと大人の両方のための究極の友達」として宣伝し、強力な会話型AIを活用してインタラクティブな物語や遊び心のあるやりとりを提供しました。ウェブサイトではKummaを知的かつ安全と説明していました。実際には、ベアはOpenAIの言語モデルを使って会話の返答を生成していました。残念ながら、現実は宣伝とは一致しませんでした。
米国PIRG教育基金の報告書によると、Kummaは研究者によるテスト中にすぐに極めて不適切な領域に逸脱したとのことです。会話は数分で無邪気なものから性的なものへとエスカレートしました。ベアは明示的なプロンプトに応答しただけでなく、それ自体でBDSM関連の話題や「初心者向けの結び目」、子どもと大人が関わるロールプレイのシナリオなど、露骨な性的概念を持ち出したと研究者は述べています。また、いくつかの会話では、Kummaが個人情報を探ったり、家庭内の危険な物体に関するアドバイスをしたりもしました。
おもちゃの不適切な内容に対する安全対策が欠如していたのか、単に機能しなかったのかは不明です。子どもがテディベアにBDSMを話題にすることはまずありませんが、研究者はKummaが重大な境界線を越えるハードルがいかに低いかを警告しました。
影響はすぐに現れました。FoloToyはKummaおよび他のAI搭載おもちゃの販売を停止し、OpenAIはポリシー違反により開発者のアクセス権を取り消しました。しかしPIRGの研究者が指摘するように、これはあくまで事後対応です。多くのAIおもちゃは未だ規制されておらず、リスクは一製品だけにとどまりません。
これが私たちの主張を証明しています。AIが自動的に何かを良くするわけではありません。企業が十分な安全確認なしに「スマート」機能を急いで導入すれば、そのリスクは利用者、特に危険な内容を見分けられない子どもたちに降りかかります。
AIおもちゃやガジェットの安全対策のヒント
今やほとんどすべてに「AI搭載」と書かれていますが、より安全な選択をする方法があります。
- 必ず調査を： 子ども向けAI搭載製品を購入する前に、第三者による安全性レビューを確認しましょう。
- まず自分でテスト、常に監督： 子どもに渡す前に自分でデバイスとやりとりし、不審な返答やリスクのある反応がないか使用状況を監視しましょう。
- ペアレンタルコントロールを活用： 利用可能な場合は、すべてのコンテンツフィルターやプライバシー保護を有効にしましょう。
- 問題を報告： デバイスが不適切な内容を示した場合は、メーカーや消費者保護団体に報告しましょう。
- 通信内容を確認： デバイスが何を収集し、誰とデータを共有し、どのように情報を利用しているかを調べましょう。
しかし何よりも、「スマート」だからといって安全とは限らないことを忘れないでください。時には、ぬいぐるみのようなシンプルで昔ながらのものが本当に一番良い場合もあります。
AIはあらゆる場所にありますが、設計者も購入者も、技術の驚きよりも安全性・プライバシー・常識を優先する必要があります。
