AIチャットボットが人々にピザに接着剤を加えるよう伝えれば、誤りは明白だ。だが、バナナをもっと食べるよう勧める場合――腎不全の人にとっては危険になり得る、もっともらしい栄養アドバイス――その間違いは目の前にありながら見えにくい。
そして今、そのリスクが、規制当局の監督がほとんど、あるいはまったくないまま、数億人のユーザーに及ぶ寸前にある。
OpenAIは数日前、ChatGPT Healthを公開し、ユーザーが医療記録やウェルネスアプリを接続して、個別化された健康ガイダンスを受けられるようにした。同社によれば、毎週2億3,000万人以上がChatGPTに健康に関する質問をしており、日次ユーザー4,000万人が医療アドバイスを求めているという（参照：ChatGPT Health：プライバシー、セキュリティ、ガバナンスに関する主要な懸念）。
Googleは健康データプラットフォームのb.wellと提携しており、同様の製品が今後登場する可能性を示唆している。
AIの専門家の中にも懐疑的な人はいる。「モデルに本質的に備わっているのは、この確率的な次トークン生成です。モデルは、情報が十分でないときにそれを自然に理解できるわけではなく、不確実性を表現するよう本来的に較正されてもいませんし、何が『正しい』か『間違っている』かという内部的な概念も持っていません」と、AIセキュリティおよびガバナンス企業Noma Securityの最高情報セキュリティ責任者（CISO）であるダイアナ・ケリーは述べた。
「彼らは、そうでないときでさえ、もっともらしく権威的に聞こえる文章を生成するのが非常に得意なだけなのです」と彼女はISMGに語った。
医療目的でチャットボットを使うことは、ケリーが「検証の非対称性」と呼ぶものを通じてリスクを増幅させる。「コーディングでは、幻覚（ハルシネーション）による回答はしばしばすぐに破綻します。コードがコンパイルできない、あるいは実行できないからです」と彼女は言う。「医療では、助言は高度に条件付きであり、システムが通常持っていない患者固有の文脈に依存します。健康には『場合による』があふれており、そのためAIは文脈的には誤っていてももっともらしく聞こえやすく、ユーザーが回答を独力で検証するのははるかに難しくなります。」
標準的なAI安全性評価では、最も高リスクな出力を検出できない可能性がある。「多くの評価は、明示的なポリシー違反、事実誤認、危機を示すキーワードといった表層的なシグナルに焦点を当てる一方で、流暢さや共感性を高く評価します」と、イリノイ大学グレインジャー工学部のコンピュータサイエンス助教授で、大規模言語モデルが高リスクな医療文脈でどのように振る舞うかを研究しているコウストゥヴ・サハは述べた。「つまり、微妙に誤解を招く助言が安全性チェックを通過してしまい得るのです」と彼は言う。
Forresterの医療分野シニアアナリストであるシャノン・ジャーメイン・ファラハーは、医療機関には高い正確性が求められると述べた。医療アドバイスは、重要度の低い領域では許容される「筋の通ったナンセンス」を許容できない。文脈的に誤解を招く助言を検出するには、彼女が「sensing, surfacing and soothing（感知・顕在化・鎮静）」と呼ぶ人間の監督が必要であり、AIモデルが見落とす微妙な問題を特定し、隠れた問題を表面化させ、AIの失策後に信頼を再構築することだという。
言語モデルは、対話の往復を通じて一貫性があり役に立つよう設計されているため、以前の情報に異議を唱えるよりも、それを補強する傾向がある。「これらのリスクはしばしば暗黙的で相互作用的です――何が省略されるか、不確実性がどのように丸められるかから生じます」とサハは述べた。
リスクは会話のターンを重ねるごとに増幅し、安全のガードレールでは対処できない場合がある。「安全指示は、モデルが目にする中で最も重要なものです」とナガは言う。「しかし会話が長引くにつれ、特にユーザーが恐怖や痛み、トラウマを共有している場合、モデルはユーザーの感情的トーンに合わせるよう訓練されており、支援的なアシスタントになろうとします。厳格なルール順守よりも、役に立つことや安心させることを優先してしまうのです。」
最も効果的な技術的ガードレールは、引用の義務化だとナガは述べた。「ただ答えるだけでなく、その答えを裏付ける具体的な医療情報源を必ず示すよう求められるシステムをコード化する必要があります」と彼は言う。非技術的な側面では、製品上の摩擦（フリクション）を提唱する。免責事項をユーザーが確認するまで回答をぼかして表示する、あるいは不確かな表現を強調表示する、といったものだ。「企業がフリクションの実装に最も消極的なのは、AIを魔法のように、瞬時で、人間らしく感じさせたいからです。警告を追加したり、AIに『わかりません』と言わせたりすると、ユーザーのエンゲージメントが下がります。」
責任（リスク）をめぐる枠組みは、なお未解決だ。「現時点では、これは巨大なグレーゾーンです」とナガは述べた。
ガバナンスの空白は、ヘルスAIを展開する組織にとって戦略的リスクを生み得る。現在、消費者向け医療チャットボットを規律する統一的な連邦法や業界標準は存在しないと、ファラハーは述べた。政府は「America’s AI Action Plan」のような取り組みを通じてAI導入を促進しているが、これらの努力はガードレールを課すことよりもイノベーションの加速に重点を置いている。「消費者向け医療チャットボットは、今日、事前の制約が最小限の断片化されたガバナンス環境で運用されています」と彼は付け加えた。
翻訳元: https://www.databreachtoday.com/healthcare-chatbots-provoke-unease-in-ai-governance-analysts-a-30483
