Decifrando a IA: Revelando o impacto da complexidade das consultas na precisão das informações de saúde

Um estudo inovador realizado por pesquisadores da CSIRO (Organização de Pesquisa Científica e Industrial da Commonwealth) da Austrália e da Universidade de Queensland (UQ) revela uma descoberta crucial sobre a confiabilidade da inteligência artificial, especificamente de grandes modelos de linguagem (LLMs, na sigla em inglês), como o ChatGPT, na geração de informações de saúde. De fato, isso demonstra a sutileza dos desafios que podem surgir com relação às tecnologias à medida que se integram cada vez mais à disseminação de informações na área da saúde.

Simplifique para maior precisão 

O experimento, que submeteu as respostas do ChatGPT a 100 perguntas relacionadas à saúde da tracDesinformação em Saúde do TREC, constatou uma diferença marcante na precisão de acordo com o formato em que as perguntas foram formuladas. Quando o ChatGPT era questionado com perguntas simples, sem outras evidências, ele demonstrou capacidade de responder corretamente em 80% dos casos, com base no conhecimento médico atual. No entanto, quando as perguntas eram tendenciosas, seja favorecendo ou refutando a questão com base em evidências, sua capacidade de resposta caiu para 63%.

O estudo observou ainda uma queda notável para 28% na precisão quando o ChatGPT foi autorizado a expressar incerteza em suas respostas. Sugere-se, portanto, que tais evidências tendenciosas, independentemente de seu valor de verdade, introduzem "ruído" ao sistema e podemtracsua capacidade de fornecer respostas adequadas. Esse comportamento dos modelos de linguagem representa agora uma ameaça real à forma como informações complexas em consultas relacionadas à saúde e à desinformação são processadas pela IA.

O desafio de integrar a IA com informações de saúde

Essa capacidade dos Modelos de Aprendizagem Baseados em Aprendizagem (LLMs) e das tecnologias de busca, como parte dos principais mecanismos de busca, é explorada em combinação com os processos de Geração Aumentada de Recuperação (RAG) — um dos grandes avanços na forma como as informações de saúde são acessadas online. No entanto, uma pesquisa do Dr. Bevan Koopman, pesquisador principal da CSIRO e professor associado da Universidade de Queensland (UQ), e de Guido Zuccon, do Centro de Saúde Digital de Queensland, refutou essa percepção e demonstrou que há um entendimento parcial, ou nenhum, de como os LLMs devem interagir com o componente de busca, o que afeta a recuperação incompleta de dados. 

Isso é, portanto, de grande importância para usos avançados, embora se possa recorrer a fontes online para consultas relacionadas à saúde. O estudo aponta para a necessidade crítica de mais pesquisas que, pelo menos, preencham a lacuna no entendimento de como os Sistemas de Aprendizagem Baseados em Aprendizagem (LLMs) podem processar e recuperar informações de saúde, garantindo confiabilidade e precisão nas respostas ao público.

O caminho a seguir

A clara implicação, portanto, é que é urgente a realização de mais pesquisas sobre as capacidades e limitações dos mecanismos de aprendizagem colaborativa (LLMs) no contexto da informação em saúde. Os pesquisadores propuseram, assim, que isso exige uma conscientização pública sobre os prováveis ​​riscos de se buscar aconselhamento de saúde em plataformas de inteligência artificial e sobre mecanismos que aprimorem a qualidade e a precisão das informações acessadas.

À medida que o cenário tecnológico evolui, também evolui a forma como acessamos e interpretamos informações de saúde. Isso nos lembra da importância crucial da simplicidade e clareza nas perguntas feitas por IA e do potencial de desinformação quando se introduzem evidências complexas. O objetivo, portanto, seria usar a IA de forma perfeita; por exemplo, para aumentar o acesso ideal a informações de saúde confiáveis, o que exige um julgamento mais preciso sobre a dinâmica complexa que existe entre as capacidades de processamento da IA ​​e as consultas relacionadas à saúde.

O estudo da CSIRO e da UQ reafirma exatamente que a combinação de IA com a recuperação de informações de saúde é extremamente complexa e que o potencial para respostas incorretas é muito alto. Com o papel cada vez mais crucial da IA ​​em nosso cotidiano, especialmente na área da saúde, é fundamental que entendamos as limitações dessas máquinas e as tornemos mais confiáveis. 

Isso certamente aumentará a disponibilidade de informações de saúde para todas as pessoas, mesmo que não as proteja contra fraudes. Contudo, com a continuidade das pesquisas e do desenvolvimento, o potencial da IA ​​para revolucionar a área da informação em saúde permanece imenso, desde que sua aplicação seja feita com cautela, consciência e compromisso com a precisão.