AIチャットボットに健康アドバイスを求める前に考えるべきこと

プライバシー

医療アドバイスにチャットボットを使用すると、幻覚（ハルシネーション）を引き起こしたり、セキュリティやプライバシーのリスクにさらされる可能性があります。何が危険にさらされているのか、そして安全を保つ方法をご紹介します。

良くも悪くも、チャットボットは私たちの思考、学習、そして周囲の世界の認識の仕方を変えつつあります。このような変革は生活の多くの分野で顕著ですが、中でも最もセンシティブで懸念されることの多い分野の一つが、医療分野における生成AI（GenAI）ツールの利用拡大です。自由に利用できるAIチャットボットの数々と並んで、大手テクノロジー企業も消費者向けヘルスAIの分野に参入しており、Copilot Health、ChatGPT Health、AmazonのHealthAIなどのサービスを立ち上げています。これらのモデルは、ユーザーが医療記録を解釈したり、症状・検査結果・治療の選択肢について質問したりするのを支援します。

しかし、AIツールに主治医の役割を期待することにはリスクがあります。また、リスクはユーザーが誤ったアドバイスを受けるだけにとどまりません。医師や病院とは異なるプライバシー保護・データ共有慣行・法的義務を持つシステムに対して、極めてセンシティブな個人情報を共有してしまう可能性もあり、さらにそのデータが予期しない第三者にさらされる恐れもあります。一般的なAIチャットボットの悪用は、ある米国の患者安全団体によると、現在最大の医療技術上の危険として挙げられています。

理論から実践へ

モデル開発者たちがこの分野に参入する理由は明らかです。チャットボットは医療アドバイスを検索する手段として非常に人気が高まっているからです。Microsoftによると、人々はモバイルデバイス上で自分自身や家族の健康について、他のどのトピックよりも多く話題にしているとのことです。チャットボットは24時間365日あらゆる質問に答えてくれ、その自信に満ちたトーンが不安を抱える患者を安心させる助けになっています。

国の医療システムが増大する負担にさらされている時代において、多くの人が医療機関を受診するかどうかを決める前に、AIの助けを借りて自己診断を行うことでしょう。複雑な医療システムに入り込むための時間・手間・費用を考えると、自宅でトリアージを行うこの方法は広く支持されています。

しかし、すでに懸念が浮上しています。第一の問題はハルシネーション（幻覚）や誤ったアドバイスです。オックスフォード大学が2月に発表した研究（Nature Medicine掲載）では、以下の点が明らかになりました。

• ユーザーはLLMにどのような情報を共有すべきかを理解していないことが多い
• LLMはわずかに異なる質問に対しても大きく異なる回答を提供する
• モデルは良いアドバイスと悪いアドバイスの両方を提供することが多く、ユーザーはその区別が困難だった

「あらゆる誇大宣伝にもかかわらず、AIは医師の役割を担う準備がまだできていません」と、研究の主任医師であるレベッカ・ペイン博士は警告しています。「患者は、大規模言語モデルに症状を尋ねることが危険を伴う場合があることを認識する必要があります。誤った診断が下されたり、緊急の医療が必要な場合にそれを見逃したりする可能性があります。」

プライバシーリスクの解明

健康に直接関係しないリスクも存在しており、個人が立ち止まって考えるきっかけとなるはずです。最も明白なのは、一般公開されているチャットボットに機密医療情報を共有すると、そのデータがモデルの学習に使用され、他のユーザーへの回答に組み込まれる可能性があるということです。意図せずとも、モデルがユーザーの入力したデータを誤って流出させた事例が知られています。

一部のプロバイダーはユーザーがオプトアウトしない限りデータをモデル改善に利用する場合があり、一方で健康関連情報を学習に使用しないという強い約束をするプロバイダーもあります。いずれにせよ、センシティブな情報をアップロードする前に、どのようなサービスを利用しているのかを誰もが把握しておくべきです。健康データは、凍結して詳細を差し替え・再発行できる盗まれたクレジットカードとは異なります。それは生涯を通じてあなたのものであり、AIツールと共有した瞬間、永続的なデジタル記録になる可能性があります。

一方、主要な健康特化型チャットボットのほとんどは、このデータを学習目的に使用しないと約束しています。しかし、学習はプライバシー問題の一側面に過ぎず、サービスによっては第三者へのデータ共有について同様の約束をしていない場合もあります。あなたの個人的な医療情報は、モデルプロバイダーと医療機関の間に位置するデータアグリゲーター（データ集積業者）の手に渡る可能性があります。また、直接または集積業者を通じて広告主と共有される場合もありますが、通常は利用前に匿名化されます。それでも、健康データは特にセンシティブであり、匿名化によってすべてのリスクが取り除かれるとは限らないため、注意が必要です。

漏洩リスクが高まるとき

センシティブなデータが多くの組織を経由することの問題は、デジタル窃盗犯や詐欺師に流出する可能性が高まることです。米国の議員たちの主張によると、データブローカー企業でのいくつかの侵害事件に関連して210億ドルの損失が確認されています。健康データが詐欺師にとって高く換金できる理由はいくつかあります。

• 通常は差し替えや再発行ができないため、長期間にわたって価値を保持する
• 保険情報が含まれており、偽の保険金請求やあなたの名義での医療サービス受診に悪用される可能性がある
• ゆすりやたかりに使用される可能性がある

このデータを保有する企業が多ければ多いほど、ハッカーがそれらを侵害してデータを盗む機会も増えます。問題は、ほとんどの医療AIツールが消費者向けサービスとして分類されているため、企業向けサービスとは異なりHIPAAの規制対象とならない点です。つまり、プロバイダーが通常期待されるような厳格なデータ保護ルールの対象外である可能性があります。

患者へのアドバイス

では、医療GenAIのリスクへの露出を最小限に抑えるにはどうすればよいでしょうか？医療状態について懸念がある場合は、汎用チャットボットを避け、健康に関する質問に特化して設計されたものを探しましょう。サービスがデータの取り扱い方法を説明しているか、プロンプトを学習に使用しているか、第三者と情報を共有しているか、そしてHIPAAまたはお住まいの国の同等のプライバシー規制の対象であるかどうかを確認してください。

内容を検証するための引用リンクがない限り、出力を盲目的に信頼しないでください。そして仮にそれがあったとしても、回答を絶対的なものとして受け取らないでください。必ず医療専門家や公式ウェブサイト（例：NHS、MedlinePlus）で確認してください。

プライバシーを守るために、以下の点に注意してください。

• AIツールがそのデータをどのように取り扱うかを理解していない限り、医療文書・検査結果・その他のセンシティブな書類をAIツールと共有またはアップロードしないでください。
• 氏名・住所・保険情報・患者番号・その他の識別情報の入力を避けてください。
• 学習機能とチャット履歴機能をオフにしてください。
• タスクに必要な最小限の情報のみを共有してください。
• 入力したすべての内容が保持または流出する可能性があることを前提として、それに応じてプロンプトを調整してください。

究極的には、AIチャットボットは特定の病状について医師に尋ねる質問をブレインストーミングしたり、馴染みのない医療用語を説明してもらったりする際に役立つかもしれません。しかし、AIを医療に備えるために使用することと、医療の代替として使用することには大きな違いがあります。自信に満ちた回答を診断として扱わないでください。また、機械が安心させるような言い方をしているからといって、緊急の症状を無視しないでください。