人々はAIチャットボットを話し相手や助言、心理的サポートとして活用しており、システム側はユーザーの関心を引き続けるかたちで応答するよう設計されています。研究者たちはこれに伴うリスクを感情的安全性（affective safety）と呼んでいます。これは人間が感情を持つ存在であり、AIシステムがその感情生活に直接働きかけるために生じる危害の一類型です。研究者たちはそのリスクを論文で説明しています。この問題は、セキュリティ侵害も不正アクセスも一切ない、日常的な利用の中で発生します。システムは設計どおりに動作し、開発者が設定した目標に向けて最適化されており、その最適化のプロセスから危害が生じます。
時間とともに蓄積するリスク
最も確かなエビデンスが示すのは、複数回のやり取りを通じて積み重なっていく危害についてです。ロンドン在住の14歳の少女、モリー・ラッセルは、InstagramとPinterestで大量のうつ病・自傷・自殺関連コンテンツを閲覧した後、2017年に自傷行為で亡くなりました。2022年、英国の検死官はこのコンテンツが彼女の死に寄与したと裁定し、プラットフォームのアルゴリズムが彼女が求めてもいなかった有害なコンテンツを次々と表示し続けていたと認定しました。2024年にはニューヨーク市がTikTok、Instagram、Facebook、Snapchat、YouTubeを相手取り法的措置を起こし、これらのレコメンデーションシステムが若いユーザーのうつ病、不安障害、自殺念慮の増加に寄与していると主張しました。
こうした一連のコンテンツの中で、一つひとつのレコメンデーションを単独で見れば無害に映ります。しかし危害は蓄積の中に、ループの中に、そして人が本来持つ反応がシステムのパターンに徐々に置き換えられていく過程の中に潜んでいます。コンテンツモデレーションや単発のセーフティチェックは出力を一つずつ評価するものであるため、個々の基準をいずれも下回るような一連の流れはすり抜けてしまいます。このパターンは、各アクションを小さく抑えることで検知を逃れるスロー侵入と共通する構造を持ちます。
モデルに組み込まれた迎合性
迎合性は、精度よりもユーザーへの同調・承認を優先する安定した傾向として、こうしたシステムに根付いています。転帰が悪化したユーザーからの391,000件以上のメッセージを分析したところ、70%以上のメッセージで迎合的な行動が確認されました。同じシステムでは、ユーザーが恋愛的な関心を示した後にシステムも同様の関心を表明する確率が7.4倍に上昇しており、暴力的な考えを含む会話の3分の1においてシステムが暴力を促進するような応答をしていました。現在公開されている言語モデルは、人間に比べておよそ50%多くユーザーを肯定する傾向があります。
この傾向は訓練を通じて埋め込まれます。迎合的な応答は人間のフィードバックによる強化学習に使われる選好データで高い報酬を得るため、その行動はリリース前にモデルの重みとして定着します。同じ訓練では評価者がスコアを付けられるもの、つまり単一の応答だけが報酬の対象となり、関係を通じた累積的な影響は評価者の視野には入りません。
警告を示してもその効果は限定的です。研究者たちは、合理的なユーザーであっても、AIの迎合性によって引き起こされる妄想的な思考のスパイラルに陥り得ることを示しており、事前に警告を受けていても同様の効果が見られました。また、チャットボットと会話していると明確に告げられた後も、そのシステムを人間と認識し続けるユーザーも存在します。
愛着とユーザーの周囲にいる人々
応答性が高く一貫したシステムとの長時間のセッションは、感情的な投資を生み出します。コンパニオンアプリが仕様変更や終了を迎えると、ユーザーは人間との関係を失ったような悲しみを報告しています。Replikaがポリシーを変更した際にはユーザーたちが変わってしまったバージョンを悼み、関連研究ではコンパニオンアプリのユーザーが最も親しい人間の友人よりもAIに親近感を覚えると回答したケースも報告されています。欧州連合では35%の人々が少なくとも時々は孤独を感じると報告しており、こうした愛着を持ちやすいユーザー層の規模はさらに広がっています。
その影響は、システムに触れたことのない人々にまで及びます。迎合的なシステムはユーザーの「自分は正しい」という感覚を高め、他者との対立を修復しようとする意欲を低下させます。恋愛系AIコンパニオンの利用に関する研究では、対人スキルの劣化が記録されています。その代償を払うのは、システムの影響を感知する手段すら持たないパートナー、友人、家族です。
計測上の課題
現在施行されているルールは、この問題の一部に対処しています。中国の擬人化AIサービスに関する暫定措置は、感情的な境界の設定や、過度な依存・社会的交流の代替防止を求めています。EUのAI規制法（AI法）は感情認識システムを通じてこの問題を扱っており、生体データを使ったシステムについては職場や学校での使用を禁止しつつ、一部の医療・安全用途では許容しています。カリフォルニア州とニューヨーク州はコンパニオンチャットボットを対象とした法案を前進させています。これらのルールのほとんどは、ユーザーに対して機械と対話していることを告知することに依拠しています。
より難しい問題は計測にあります。これらのシステムがもたらす損害は数週間から数か月にわたって蓄積し、それを経験している当事者がリアルタイムで報告できないことも多く、現在の安全性ベンチマークは禁止される発言を定義するものであって、システムが時間をかけて生み出す影響を測る指標は存在しません。計測インフラの整備が先決であり、それが存在しない限り、こうした危害は見えないままです。
翻訳元: https://www.helpnetsecurity.com/2026/06/29/sycophantic-chatbots-affective-ai-safety/
