Departamento de Defesa dos EUA, DoD, conclui programa piloto usando chatbots para medicina militar

Um dos últimos projetos ligados ao DoD e sob a administração de Biden chegou a um fim bem-sucedido. o Escritório de Inteligência Artificial e Digital (CDAO) do Departamento de Defesa dos EUA (DoD) concluiu o piloto do programa de Garantia de Red-Teaming de IA por Multidão (CAIRT). Esta iniciativa é dedicada a integrar chatbots de IA nos serviços médicos militares. 

Os chatbots de modelo de linguagem grande (LLM) foram implementados no programa CAIRT. Além disso, CAIRT assistiu o DoD no desenvolvimento de estratégias descentralizadas e por multidão para Mitigação de Riscos de IA e Garantia de IA.

Mais de 200 provedores clínicos e analistas de saúde contribuíram para a identificação de vulnerabilidades potenciais no uso de chatbots de IA em aplicações médicas militares. Notavelmente, o piloto identificou várias centenas de problemas potenciais, conforme relatado pelo DoD.

Para esse fim, o DoD disse, “Este exercício resultará em saída repetível e escalável através do desenvolvimento de conjuntos de dados de referência, que podem ser usados para avaliar futuros fornecedores e ferramentas para alinhamento com as expectativas de desempenho.” 

CAIRT programa nos bastidores

De acordo com o DoD, uma inteligência humana sem fins lucrativos conduziu o piloto LLM do CAIRT. Isso foi alcançado em parceria com a Agência de Saúde da Defesa (DHA) e o Escritório Executivo do Programa de Sistemas de Gestão de Saúde da Defesa (PEO DHMS).

Além disso, a inteligência humana usou a metodologia de red-teaming para identificar problemas específicos do sistema. Isso envolveu o teste interno da resiliência do sistema usando técnicas adversárias. 

Além disso, o red-teaming atraiu participantes interessados em interagir com tecnologias emergentes e como potenciais futuros beneficiários. Eles tiveram a oportunidade de contribuir para a melhoria dos sistemas.

Neste programa, a inteligência humana usou red-teaming por multidão para abordar duas aplicações potenciais na medicina militar: resumo de notas clínicas e um chatbot de aconselhamento médico.

Embora vulnerabilidades tenham sido identificadas, o DoD destacou, “essas descobertas desempenharão um papel crucial na moldagem das políticas do DoD e das melhores práticas para o uso responsável de” IA Generativa (GenAI), melhorando finalmente os cuidados médicos militares. Se, quando implantados, esses casos de uso prospectivos compreenderem a IA coberta definida na OMB M-24-10, eles aderirão a todas as práticas de gerenciamento de risco exigidas.”

Ainda assim, o DoD afirmou que o Programa de Garantia CAIRT continuará testando LLMs e sistemas de IA. Isso acelerará a Célula de Capacidades Rápidas de IA do CDAO, tornará o objetivo da GenAI mais eficaz e ajudará a construir confiança em todos os casos de uso do DoD.

O líder do CDAO para esta iniciativa, Dr. Matthew Johnson, também disse, “Como a aplicação da GenAI para tais fins dentro do DoD está em estágios iniciais de pilotagem e experimentação, este programa atua como um caminho essencial para gerar uma massa de dados de teste, destacar áreas para consideração e validar opções de mitigação que moldarão a pesquisa futura, o desenvolvimento e a garantia de sistemas GenAI que podem ser implantados no futuro,”

Espera-se que a próxima administração continue esses projetos. A equipe de Trump é aberta à IA mesmo enquanto procura competir com a China.

Quão segura é a IA no cenário médico? 

Embora a IA tenha um impacto enormemente benéfico na ciência médica, ela é seguida por vários riscos e perigos significativos.

Para status, os sistemas de IA usam algoritmos específicos que exigem conjuntos de dados massivos para aumentar a precisão. Este método coloca dados sensíveis do paciente em risco de segurança, privacidade e confidencialidade. Atualmente, já que corporações farmacêuticas e de seguros estão interessadas nesses conjuntos de dados, o hacking expandiu-se grandemente. O hacking de arquivos médicos também pode fazer parte de um ciberataque governamental.

Além disso, o envenenamento de dados, a modificação intencional de dados médicos para induzir erros ou vieses na saúde, é outro risco importante do mau uso de dados médicos. Isso prejudica a precisão e a confiabilidade do aconselhamento médico. A IA usando diferentes modelos de dados epidemiológicos, como na pandemia de COVID-19, pode produzir resultados diversos.

Outro problema seria um algoritmo médico defeituoso. Isso pode ser devido a testes inadequados do algoritmo, já que não há padrões estabelecidos para testar sua validade. Por exemplo, os ensaios duplo-cegos são a maneira mais eficaz de provar que um tratamento funciona. 

Ainda assim, quem seria responsável por tal erro — o médico pessoal, o hospital, o fornecedor de equipamentos ou o desenvolvedor do algoritmo? Assim, erros médicos causados por falhas na máquina levantam sérias questões legais.

Chatbots de IA atuando como médicos? 🤖 Ainda não.

Um estudo revela que suas habilidades de diagnóstico são instáveis no melhor dos casos.

A IA na saúde ainda precisa de um impulso cerebral antes de poder ser confiável para cuidar da sua saúde. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) January 2, 2025

Além disso, a IA também pode prejudicar as relações médico-paciente. Portanto, os médicos são obrigados a entender a avaliação e o desempenho da IA para explicar seu papel aos pacientes e reduzir a ansiedade do paciente.

Finalmente, há um fenômeno conhecido como efeito “médico preguiçoso”. Se o médico empregar exclusivamente algoritmos de IA para diagnóstico e tratamento, isso pode resultar em uma perda progressiva e irreversível de habilidades práticas, criatividade intelectual e capacidade de resolver problemas médicos.

No entanto, as pessoas se acostumaram com Chatbots em suas vidas diárias. Com a pesquisa adequada, os Chatbots de IA podem eliminar os pequenos erros que os médicos cometem, tornando assim o espaço médico mais seguro.