医療におけるAI活用には継続的な監督が必要な理由

医療における人工知能の利用は、それを取り巻くガバナンスと信頼の枠組みがあって初めて安全かつ正確になると、医療プライバシーおよびセキュリティのコンサルティング会社Clearwaterの副社長であるデイブ・ベイリー氏は述べた。これは、誤りやハルシネーションが患者ケアに直接影響し得る臨床環境では特に当てはまる。

「臨床意思決定におけるAIの自律的な利用は非常に危険になり得ます。AIを導入する組織は、プロセスを整備し、データをテストしており、それを信頼しているという理解を持つ必要があります」と同氏は述べた。

看護師が電子カルテ内のAI生成の臨床サマリーに誤りを見つけた場合、潜在的に危険な医療事故が起きる前に、その問題に対処するためのプロセスと計画が必要になる。

「そうした事態にどう対応するのか。組織が[AI]をどのように使うのかを理解し、最終的にデータを信頼できない場合に備えて、そうした有害事象を確実に想定して計画することが極めて重要です。」

また、AIシステムを導入するためのガバナンスを整えることと、技術とその利用のライフサイクル全体にわたってガバナンスとリスクを管理することは別の話であり、後者も同じくらい重要だと同氏は述べた。

「導入した後はどうするのか？」と同氏は問いかけた。「モデルや結果を監視し、モデルがドリフトしたりハルシネーションを起こしたりした際に、組織に指標を提供できるよう支援するには、新たに登場する新技術の活用が必要になるでしょう。」

インタビュー（写真下の音声リンク参照）で、ベイリー氏は次の点についても議論した。

• 医療におけるAI利用に関わる進化する脅威とリスク;
• サイバーセキュリティ向上のための医療におけるAI活用と、それに伴うリスク;
• 医療分野の組織が考慮すべき、その他の重要なAIの信頼性およびガバナンスの課題。

ベイリー氏はClearwaterのコンサルティングサービスおよび戦略担当副社長で、全米の医療機関向けにエンタープライズレベルのサイバーセキュリティおよびリスク管理サービスを率いている。サイバーセキュリティの経験は24年以上で、そのうち14年は医療分野に注力してきた。以前は米国空軍で通信・情報士官として13年間勤務し、国防総省、国内基地、海外作戦にまたがる指揮任務を担った。