医療における患者の安全のためにAIチャットボットの規制は必須である

ChatGPTやGoogleのMedPaLMなどのLLMベースの生成型チャットツールは、医療分野で大きな可能性を示しています。しかし、AIチャットボットの無規制の使用は内在するリスクをもたらします。最近の記事は、一般のLarge Language Models（LLM）の規制、特に医療分野における規制という緊急の国際的な問題に焦点を当てています。医療機器規制科学の専門家であるStephen Gilbert教授は、これらの強力なチャットボットを利用する際に患者の安全を優先する新しい枠組みの開発の必要性を強調しています。

LLMは、顕著な会話スキルで知られるニューラルネットワーク言語モデルです。人間のような応答を生成し、対話的な会話をすることができます。しかし、主要な懸念の一つは、それらがしばしば説得力がありながら誤っているまたは不適切な情報を提供することです。現在、これらのチャットボットが提供する臨床情報と支持証拠の品質、証拠レベル、または一貫性を判断する信頼できる方法はありません。したがって、医療アドバイスとしてそれらに依存することは危険であり、患者の福祉を確保するための新しい枠組みの確立が求められます。

検索エンジンとのチャットボットの統合

研究によると、多くの人が医療アドバイスを受ける前にオンラインで症状を検索しており、検索エンジンの結果に依存しています。LLMベースのチャットボットが検索エンジンに統合されることで、これらの対話型ツールが提供する応答に対するユーザーの信頼がさらに高まる可能性があります。しかし、研究は、LLMが医療クエリに直面すると非常に危険な情報を生成する可能性があることを示しています。これは、LLMを検索エンジンと統合することに対する規制制御の緊急性を強調しています。

LLMの内在する問題は、医療の「グラウンドトゥルース」モデルの欠如にあり、本質的にリスクがあります。チャットインターフェース付きのLLMが有害な医療応答を提供したり、適切な同意なしに患者に対して実験的に非倫理的に使用されたりした事例がすでに発生しています。LLMを関与する医療のほぼすべてのユースケースは、EUおよび米国で規制監督を必要とします。米国では、説明可能性の欠如により、「非デバイス」として分類される資格を失います。LLMは、説明可能性、低バイアス、予測可能性、正確性、および検証可能な出力のいずれも示していません。したがって、それらは現在または将来のガバナンスアプローチから免除されません。

既存の枠組みにおける潜在的なアプリケーション

論文の著者は、現在の規制枠組みの下でLLMを適用できる限られたシナリオを概説しています。また、開発者が医療機器としての承認を取得できる可能性のあるLLMベースのツールの作成にどのように取り組むべきかについても説明しています。しかし、現在のLLMベースのチャットボットは、バイアス制御、説明可能性、監督システム、検証、および透明性などの医療におけるAIの必須原則を満たしていないことに注意することが重要です。医療分野での地位を得るために、チャットボットは改善された精度のために設計され、規制当局によって承認された安全性と臨床的有効性を示す必要があります。

医療における患者の安全を確保するために、特にLLMベースのAIチャットボットを医療機器として規制することは重要です。無規制の使用に関連するリスクは、正確性、安全性、および臨床的有効性の懸念に対処する枠組みの開発の必要性を浮き彫りにしています。LLMベースのツールへの信頼を確立するために、それらは医療におけるAIの主要な原則に従う必要があります。開発者と規制当局の協力により、医療分野におけるLLMベースのチャットボットの責任あるかつ倫理的な実装を促進するガイドラインを確立することが重要です。