A regulação dos Chatbots de IA é imperativa para a segurança do paciente na saúde

Ferramentas de chat generativas baseadas em LLM, como o ChatGPT e o MedPaLM do Google, mostram grande promessa no campo médico. No entanto, o uso não regulamentado de chatbots de IA apresenta riscos inerentes. Um artigo recente aprofunda a questão internacional urgente da regulação de Modelos de Linguagem de Grande Escala (LLM) em geral e especificamente no setor da saúde. O Professor Stephen Gilbert, especialista em Ciência Regulatória de Dispositivos Médicos, enfatiza a necessidade de desenvolver novos quadros que priorizem a segurança do paciente ao utilizar estes chatbots poderosos.

Os LLMs são modelos de linguagem baseados em redes neurais, conhecidos por suas notáveis habilidades de conversação. Eles podem gerar respostas semelhantes às humanas e participar de conversas interativas. No entanto, uma das principais preocupações é que eles frequentemente fornecem informações altamente convincentes, porém incorretas ou inadequadas. Atualmente, não há maneira confiável de determinar a qualidade, o nível de evidência ou a consistência das informações clínicas e das evidências de apoio fornecidas por esses chatbots. Consequentemente, confiar neles para obter aconselhamento médico pode ser inseguro, o que justifica a criação de novos frameworks para garantir o bem-estar dos pacientes.

Integração de chatbots com mecanismos de busca

Pesquisas mostram que muitos indivíduos pesquisam sintomas online antes de buscar aconselhamento médico, confiando frequentemente nos resultados dos mecanismos de busca. A próxima integração de chatbots baseados em LLMs nos mecanismos de busca pode aumentar ainda mais a confiança dos usuários nas respostas fornecidas por essas ferramentas conversacionais. No entanto, estudos demonstraram que os LLMs podem produzir informações profundamente perigosas quando confrontados com consultas médicas. Isso destaca a necessidade urgente de controle regulatório sobre a integração de LLMs com mecanismos de busca.

Um problema inerente aos LLMs reside na falta de um modelo de "verdade fundamental" médica, tornando-os intrinsecamente arriscados. Já ocorreram casos em que LLMs com interface de chat forneceram respostas médicas prejudiciais ou foram usados de forma antiética em experimentos com pacientes sem o devido consentimento. Quase todos os casos de uso médico envolvendo LLMs exigem supervisão regulatória na UE e nos EUA. Nos EUA, a falta de explicabilidade os desqualifica de serem classificados como "não dispositivos". Nenhum LLM exibe explicabilidade, baixo viés, previsibilidade, correção e saídas verificáveis. Consequentemente, eles não estão isentos das abordagens de governança atuais ou futuras.

Aplicações potenciais sob frameworks existentes

Os autores do artigo delineiam os cenários limitados em que os LLMs poderiam ser aplicados sob os frameworks regulatórios atuais. Eles também descrevem como os desenvolvedores podem se esforçar para criar ferramentas baseadas em LLMs que possam obter aprovação como dispositivos médicos. No entanto, é importante notar que os chatbots baseados em LLMs atuais não atendem aos princípios essenciais para a IA na saúde, como controle de viés, explicabilidade, sistemas de supervisão, validação e transparência. Para ganhar seu lugar no campo médico, os chatbots devem ser projetados para melhorar a precisão, demonstrando segurança e eficácia clínica aprovadas pelos reguladores.

Regular chatbots de IA, particularmente os baseados em LLMs, como dispositivos médicos é vital para garantir a segurança dos pacientes na saúde. Os riscos associados ao seu uso não regulamentado destacam a necessidade de desenvolver frameworks que abordem preocupações de precisão, segurança e eficácia clínica. Para estabelecer confiança nas ferramentas baseadas em LLMs, elas devem aderir a princípios-chave para a IA na saúde. A colaboração entre desenvolvedores e reguladores é crucial para estabelecer diretrizes que promovam a implementação responsável e ética de chatbots baseados em LLMs no âmbito médico.