의료 분야 환자 안전을 위해 AI 챗봇 규제가 시급함

ChatGPT와 구글의 MedPaLM과 같은 LLM 기반 생성형 챗 도구들은 의료 분야에서 큰 가능성을 보여줍니다. 그러나 규제되지 않은 AI 챗봇 사용은 본질적인 위험을 초래합니다. 최근 기사는 일반적인 대규모 언어 모델(LLM)과 특히 의료 분야 내에서의 LLM 규제라는 긴급한 국제적 쟁점에 대해 심도 있게 다루고 있습니다. 의료 기기 규제 과학 전문가인 스티븐 길버트 교수는 이러한 강력한 챗봇을 활용할 때 환자 안전을 최우선으로 하는 새로운 프레임워크 개발의 필요성을 강조합니다.

LLM은 뛰어난 대화 능력으로 알려진 신경망 언어 모델입니다. 그들은 인간과 유사한 응답을 생성하고 대화형 대화를 나눌 수 있습니다. 그러나 주요 우려 사항 중 하나는 그들이 종종 매우 설득력 있지만 잘못되거나 부적절한 정보를 제공한다는 것입니다. 현재 이러한 챗봇이 제공하는 임상 정보와 지원 증거의 품질, 증거 수준 또는 일관성을 판단할 수 있는 신뢰할 만한 방법이 없습니다. 결과적으로 의료 조언을 위해 이러한 챗봇에 의존하는 것은 안전하지 않으며, 환자 복지를 보장하기 위한 새로운 프레임워크 수립이 필요합니다.

검색 엔진과의 챗봇 통합

연구에 따르면 많은 사람들이 의료 조언을 구하기 전에 온라인에서 증상을 검색하며 종종 검색 엔진 결과에 의존합니다. LLM 기반 챗봇이 검색 엔진에 통합되면 이러한 대화형 도구에서 제공하는 응답에 대한 사용자의 신뢰가 더욱 높아질 수 있습니다. 그러나 연구들은 LLM이 의료 질문을 받았을 때 매우 위험한 정보를 생성할 수 있음을 보여주었습니다. 이는 LLM을 검색 엔진과 통합하는 것에 대한 규제 통제의 시급한 필요성을 강조합니다.

LLM의 본질적인 문제는 의료적 '근거 진실(ground truth)' 모델이 부족하여 본질적으로 위험하다는 점에 있습니다. 이미 대화형 인터페이스를 갖춘 LLM이 해로운 의료 응답을 제공하거나 적절한 동의 없이 환자 실험에서 비윤리적으로 사용된 사례가 발생했습니다. LLM이 관여하는 거의 모든 의료 사용 사례는 EU와 미국에서 규제 감독이 필요합니다. 미국에서는 설명 가능성이 부족하여 '비기기(non-devices)'로 분류되지 않습니다. 어떤 LLM도 설명 가능성, 낮은 편향, 예측 가능성, 정확성 및 검증 가능한 출력을 보여주지 않습니다. 결과적으로 그들은 현재 또는 미래의 거버넌스 접근 방식에서 면제되지 않습니다.

기존 프레임워크 하의 잠재적 응용 분야

논문 저자들은 현재 규제 프레임워크 하에서 LLM을 적용할 수 있는 제한된 시나리오들을 제시합니다. 또한 개발자들이 의료 기기로서 승인을 받을 수 있는 LLM 기반 도구를 만들기 위해 어떻게 노력해야 하는지 설명합니다. 그러나 현재 LLM 기반 챗봇들은 편향 통제, 설명 가능성, 감독 시스템, 검증 및 투명성 등 의료 분야 AI의 핵심 원칙을 충족하지 않는다는 점에 유의하는 것이 중요합니다. 의료 분야에서 입지를 다지기 위해 챗봇은 개선된 정확성을 위해 설계되어야 하며, 규제 기관의 승인을 받은 안전성과 임상 효능을 입증해야 합니다.

의료 분야 환자 안전을 보장하기 위해 AI 챗봇, 특히 LLM 기반 챗봇을 의료 기기로서 규제하는 것은 필수적입니다. 규제되지 않은 사용과 관련된 위험은 정확성, 안전성 및 임상 효능 문제를 해결하는 프레임워크 개발의 필요성을 강조합니다. LLM 기반 도구에 대한 신뢰를 구축하려면 의료 분야 AI에 대한 핵심 원칙을 준수해야 합니다. 개발자와 규제 기관 간의 협력이 의료 영역 내에서 LLM 기반 챗봇의 책임감 있고 윤리적인 구현을 촉진하는 가이드라인을 수립하는 데 중요합니다.