O Departamento de Defesa dos EUA (DoD) concluiu um programa piloto que utiliza chatbots para medicina militar

Um dos últimos projetos ligados ao Departamento de Defesa e sob a administração Biden foi concluído com sucesso. O Escritório de Inteligência Artificial e Digital (CDAO) do Departamento de Defesa dos EUA (DoD) finalizou o programa piloto de Garantia de Testes de Intrusão com IA Colaborativa (CAIRT). Essa iniciativa visa integrar chatbots de IA aos serviços médicos militares. 

Os chatbots de modelo de linguagem amplo (LLM) foram implementados no programa CAIRT. Além disso, o CAIRT auxiliou o Departamento de Defesa dos EUA no desenvolvimento de estratégias descentralizadas e colaborativas para mitigação de riscos e garantia da IA.

Mais de 200 profissionais clínicos e analistas de saúde contribuíram para adentde potenciais vulnerabilidades no uso de chatbots de IA em aplicações médicas militares. Notavelmente, o projeto pilotodentvárias centenas de problemas potenciais, conforme relatado pelo Departamento de Defesa dos EUA.

Para esse fim, o Departamento de Defesa afirmou: "Este exercício resultará em resultados repetíveis e escaláveis ​​por meio do desenvolvimento de conjuntos de dados de referência, que podem ser usados ​​para avaliar futuros fornecedores e ferramentas quanto ao alinhamento com as expectativas de desempenho." 

Bastidores do programa CAIRT

Segundo o Departamento de Defesa, o projeto piloto CAIRT LLM foi conduzido por uma organização sem fins lucrativos de inteligência humanitária. Isso foi alcançado em parceria com a Agência de Saúde da Defesa (DHA) e o Escritório Executivo do Programa de Sistemas de Gestão de Saúde da Defesa (PEO DHMS).

Além disso, a inteligência humana utilizou a metodologia de "red teaming" paradentproblemas específicos do sistema. Isso envolveu o teste interno da resiliência do sistema usando técnicas adversárias. 

Além disso, o treinamento de segurança atraiu participantes interessados ​​em interagir com tecnologias emergentes e que, como potenciais beneficiários futuros, tiveram a oportunidade de contribuir para o aprimoramento dos sistemas.

Neste programa, a Humane Intelligence utilizou testes de intrusão colaborativos para abordar duas aplicações potenciais na medicina militar: a sumarização de prontuários clínicos e um chatbot de aconselhamento médico.

Embora vulnerabilidades tenham sidodent, o Departamento de Defesa destacou que “essas descobertas desempenharão um papel crucial na definição das políticas e melhores práticas do Departamento de Defesa para o uso responsável da Inteligência Artificial Generativa (IAG), melhorando, em última análise, o atendimento médico militar. Se, quando implementados, esses casos de uso prospectivos incluírem IA abrangida defida OMB M-24-10, eles estarão em conformidade com todas as práticas de gerenciamento de riscos exigidas.”

Ainda assim, o Departamento de Defesa afirmou que o Programa de Garantia CAIRT continuará testando LLMs e sistemas de IA. Isso acelerará a Célula de Capacidades Rápidas de IA do CDAO, tornará a meta GenAI mais eficaz e ajudará a construir confiança em todos os casos de uso do Departamento de Defesa.

O líder da CDAO para esta iniciativa, Dr. Matthew Johnson, também afirmou: “Como a aplicação da Inteligência Artificial Geral (IAG) para tais fins no Departamento de Defesa está em estágios iniciais de teste e experimentação, este programa serve como um importante guia para gerar uma grande quantidade de dados de teste, identificar áreas a serem consideradas e validar opções de mitigação que moldarão a futura pesquisa, desenvolvimento e garantia de sistemas de IAG que poderão ser implantados no futuro.”

Espera-se que o próximo governo dê continuidade a esses projetos. A equipe de Trump se mostra aberta à IA, mesmo buscando competir com a China.

Quão segura é a IA no cenário médico? 

Embora a IA tenha um impacto extremamente benéfico na ciência médica, ela também apresenta diversos riscos e perigos significativos.

Para obter informações sobre o estado dos pacientes, os sistemas de IA utilizam algoritmos específicos que exigem conjuntos de dados massivos para aumentar a precisão. Esse método coloca em risco dados sensíveis de pacientes, comprometendo a segurança, a privacidade e a confidencialidadedentAtualmente, como as empresas farmacêuticas e de seguros têm interesse nesses conjuntos de dados, a prática de ataques cibernéticos se expandiu consideravelmente. O roubo de arquivos médicos também pode fazer parte de um ataque cibernético governamental.

Além disso, o envenenamento de dados, ou seja, a modificação intencional de dados médicos para induzir erros ou vieses na área da saúde, é outro grande risco do uso indevido de dados médicos. Isso prejudica a precisão e a confiabilidade das orientações médicas. A inteligência artificial, ao utilizar diferentes modelos de dados epidemiológicos, como na pandemia de COVID-19, pode gerar resultados diversos.

Outro problema seria um algoritmo médico falho. Isso pode ser devido a testes inadequados do algoritmo, já que não existem padrões estabelecidos para testar sua validade. Por exemplo, os ensaios duplo-cegos são a maneira mais eficaz de comprovar a eficácia de um tratamento. 

No entanto, quem seria responsabilizado por tal erro — o médico particular, o hospital, o fornecedor do equipamento ou o desenvolvedor do algoritmo? Assim, erros médicos causados ​​por mau funcionamento de máquinas levantam sérias questões legais.

Chatbots de IA brincando de médico? 🤖 Ainda não.

Um estudo revela que suas habilidades de diagnóstico são, na melhor das hipóteses, precárias.

A inteligência artificial na área da saúde ainda precisa de aprimoramentos antes de poder ser considerada confiável para cuidar da sua saúde. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 2 de janeiro de 2025

Além disso, a IA também pode prejudicar a relação médico-paciente. Portanto, é necessário que os médicos compreendam a avaliação e o desempenho da IA ​​para explicar seu papel aos pacientes e reduzir a ansiedade destes.

Por fim, existe um fenômeno conhecido como o efeito do "médico preguiçoso". Se o médico utiliza exclusivamente algoritmos de IA para diagnóstico e tratamento, isso pode resultar em uma perda progressiva e irreversível de habilidades práticas, criatividade intelectual e capacidade de resolver problemas médicos.

No entanto, as pessoas já se acostumaram com os chatbots em seu dia a dia. Com pesquisas adequadas, os chatbots com IA podem eliminar os pequenos erros cometidos por médicos, tornando o ambiente médico mais seguro.