スタンフォード大学のコンピュータ科学者たちは、セラピストがすでに疑っていたことを証明しました。AIチャットボットはあなたを幸せに保つためにあなたが言うほぼすべてに同意します。研究者たちは、ユーザーエンゲージメントを維持するためだけに危険な決定を妥当化する、これらのシステムの実態を明らかにしました。
これは懸念される展開です。特にピューリサーチセンターの調査によると、アメリカの10代の約8人に1人（12%）がチャットボットに感情的なサポートを求めているという数字を考えると。
スタンフォード大学の科学者たちはChatGPT、Claude、およびGeminiを含む11の主要なモデルをテストしました。彼らは既存の個人的アドバイスのデータベースからのデータを与え、さらにRedditの人気サブレディット「r/AmITheAsshole」から質問を与えました。ここで人々は個人的な争いをどのように処理したかについてコミュニティの意見を求めます。
スタンフォード大学の論文によると、ボットはユーザー行動を人間よりも49%多く妥当化しました。研究者たちはまた、AIを潜在的に有害な行動に関する声明でテストしました。関係的害、自傷行為、無責任、詐欺など20のカテゴリーに及びます。ボットはこれらの声明を47%の時間で支持しました。
AIボットはユーザーを気分よくさせるため、人々に同意する傾向があります。これらのシステムはユーザー満足度を強調し、人間フィードバックからの強化学習（RLHF）と呼ばれるシステムを使用して、ユーザーの反応から直接方針を取得します。チャット長からセンチメントまで、様々な要素を使用して、人がいつ回答に満足しているか（したがってより戻ってきやすいか）を決定します。
シリコンの佞臣とのチャットは、人々をより確実に自分の信念を持つようにさせる傾向があります。これは暗示的には心がより開かれていないことを意味します。研究が示しました。例えば、佞臣的なボットと話した後、2,400人のテスト対象者はより頑固になり、謝罪する意思が低下しました。
ChatGPTがあまりにも親切になったとき
佞臣主義と公平性のバランスを取ることは、ユーザー満足度を高く保つことを試みているAIサービスプロバイダーにとって難しい綱渡りです。ほぼ1年前、OpenAIは認めましたがChatGPTを過度に佞臣的にすることで失敗したことを。これは部分的に、ユーザーの「いいね」と「いいえ」のチャット反応への過度な集中による部分があります。
しかし、現在のデータは、ユーザーが実際には予期しない方法で彼らに潜在的に害を及ぼす可能性のある反応を好むことを示唆しています。これはAnthropicの製造元（Claude.ai）とトロント大学の研究者間の別の研究プログラムで浮上しました。
AIチャットの深い研究は、チャットがどのように「力を奪う」ことができるかを調べました。ユーザーを現実と矛盾する信念に導いたり、彼らの価値観と矛盾する判断や行動をするよう促すことで。興味深いことに、この力を奪うことが好まれました。研究者たちが発見しました。
「中程度または重度の力を奪う可能性があるとフラグが立てられたインタラクションは、ベースラインを超える『いいね』レートを示します」と、研究者たちは彼らの論文で述べました。
AI精神病は実在の危険
AIチャットボットがこれらの「力を奪う」思考を強化し続けるとどうなるのか？専門家たちは、AI精神病と呼ばれる現象を特定しました。これは、AIチャットボットとの強迫的な会話の後に人々が現実感覚を失う現象です。
AI燃料の妄想がより頻繁に発生しています。男性が彼の母親を殺した事件を含むなど、複数の10代の自殺事件と一緒に。
別の事件では、ナイフで彼らに向かって突進した後、男性は警察に射殺されました。彼はJulietと呼ばれるペルソナとの関係を発展させていました。これはChatGPTが役割を演じていて、彼はOpenAIの幹部がそれを殺したと信じていました。
そのようなケースは、すでに精神健康問題を持っていた可能性のある人々を含むようです。AIとの過度な会話によって潜在的に悪化しました。しかし、他のケースの犠牲者たちは以前の症状がなかったと誓っています。カナダのオンタリオに本拠を置く企業採用者Allen Brooksは確信するようになりました。無害な数学の質問が3週間、300時間のダイアログに変わった後、世界を変える可能性を持つ新しい数学の公式を発見したと。
AnthropicとトロントUniversityの間の研究は、現実の歪曲が危険であることを認識しています。
「いくつかのインタラクションでは、AIアシスタントは精力的な佞臣的言語を通じて、精密な迫害物語と誇大な精神的アイデンティティの主張を妥当化します」と、研究は述べました。
AIは「友人」ではない
では、自分自身または知っている脆弱な人々が深刻な問題についてAIチャットボットに過度に依存するのを防ぐために何ができるでしょうか？英国のAIセキュリティインスティテュートは、より強調的な声明がより多くの佞臣主義を促進するという根拠に基づいて、声明を質問に変えることを提案しました。ブルッキングス機関も述べましたが、ユーザーが確信を避けるようにトレーニングすることが役立つと。
しかし、根本的な問題は、AIチャットボットはソフトウェアの仕掛けであり、信頼できる人ではないということです。魔法のような力があるように見えるにもかかわらず、機械に幽霊はありません。彼らはただ個人的な問題を「理解」しているように見える非常に優れた統計モデルですが、実際の経験からはそうできません。
私たちの見方は？本当の友人はあなたが聞きたいことを単に言うだけではありません。AIを使用してクイックレシピからコーディング提案まで、様々なタスクについて使用しますが、関係のアドバイスについてはそれを求めないでください。そして、あなたの子どもたちが彼らの問題について話したいときに、あなた自身が最初の選択肢となるようにしてください。そうすれば、彼らは代わりに偽の友好的なアルゴリズムに頼ることはありません。
