미국 국방부(DoD), 군의학을 위한 챗봇 사용 시범 프로그램 완료

바이든 행정부 하에서 DoD와 연결된 마지막 프로젝트 중 하나가 성공적으로 종료되었습니다. 미국 국방부(DoD)의 수석 디지털 및 인공지능 사무국(CDAO)은 집단 지성 AI 레드 팀링(CAIRT) 보증 프로그램 시범을 완료했습니다. 이 이니셔티브는 AI 챗봇을 군 의료 서비스에 통합하는 데 전념하고 있습니다. 

대규모 언어 모델(LLM) 챗봇이 CAIRT 프로그램에 구현되었습니다. 또한, CAIRT 는 DoD가 AI 위험 완화 및 AI 보장을 위한 분산형, 집단 지성 전략을 개발하는 데 도움을 주었습니다.

200명 이상의 임상 제공자 및 의료 분석가가 군 의료 응용 프로그램에서 AI 챗봇 사용의 잠재적 취약점 식별에 기여했습니다. 특히, DoD의 보고에 따르면 시범 프로그램은 수백 가지의 잠재적 문제를 식별했습니다.

이에 따라 DoD는 다음과 같이 말했습니다. “이 연습은 벤치마크 데이터 세트 개발을 통해 반복 가능하고 확장 가능한 결과를 도출하며, 이는 향후 벤더와 도구를 평가하여 성능 기대치와의 정렬 여부를 확인하는 데 사용될 수 있습니다.” 

CAIRT 프로그램의 배후

DoD에 따르면, 비영리 인간 지성(Humane Intelligence)이 CAIRT LLM 시범을 수행했습니다. 이는 국방보건청(DHA) 및 국방 의료 관리 시스템 프로그램 실행 사무소(PEO DHMS)와의 파트너십을 통해 달성되었습니다.

또한, 인간 지성은 특정 시스템 문제를 식별하기 위해 레드 팀링 방법론을 사용했습니다. 여기에는 적대적 기법을 사용하여 시스템 복원력을 내부적으로 테스트하는 것이 포함되었습니다. 

더욱이, 레드 팀링은 신기술과 상호작용하거나 잠재적 미래 수혜자가 될 관심 있는 참가자들을 모았습니다. 그들은 시스템 개선에 기여할 기회를 부여받았습니다.

이 프로그램에서 인간 지성은 군 의료의 두 가지 잠재적 응용 분야인 임상 노트 요약 및 의료 자문 챗봇을 해결하기 위해 집단 지성 레드 팀링을 사용했습니다.

취약점이 식별되었음에도 불구하고, DoD는 강조했습니다. “이러한 발견은 생성형 AI(GenAI), 의 책임 있는 사용에 대한 DoD 정책과 모범 사례를 형성하는 데 중요한 역할을 할 것이며, 궁극적으로 군 의료 서비스를 개선할 것입니다. 만약 이러한 잠재적 사용 사례가 OMB M-24-10에서 정의된 적용 대상 AI를 구성한다면, 그들은 필요한 모든 위험 관리 관행을 준수할 것입니다.”

그럼에도 불구하고 DoD는 CAIRT 보증 프로그램이 LLM 및 AI 시스템을 계속 테스트할 것이라고 밝혔습니다. 이는 CDAO의 AI 신속 능력 셀(AI Rapid Capabilities Cell)을 가속화하고, GenAI 목표를 더 효과적으로 만들며, 모든 DoD 사용 사례 전반에 걸쳐 신뢰를 구축하는 데 도움이 될 것입니다.

이 이니셔티브의 CDAO 책임자인 매튜 존슨 박사는 또한 다음과 같이 말했습니다. “DoD 내에서 이러한 목적으로 GenAI를 적용하는 것은 시범 및 실험의 초기 단계에 있으므로, 이 프로그램은 대량의 테스트 데이터 생성, 고려 사항을 표면화, 그리고 향후 배치될 GenAI 시스템의 미래 연구, 개발 및 보증을 형성할 완화 옵션을 검증하는 데 필수적인 길잡이 역할을 합니다.”

차기 행정부는 이러한 프로젝트를 계속할 것으로 예상됩니다. 트럼프 팀은 중국과 경쟁하는 것을 모색하면서도 AI에 대해 개방적인 태도를 보이고 있습니다.

의료 환경에서 AI는 얼마나 안전한가? 

AI는 의학 과학에 지대한 영향을 미치지만, 몇 가지 중요한 위험과 위험이 따릅니다.

현재 상태에서는 AI 시스템이 정확도를 높이기 위해 막대한 데이터 세트가 필요한 특정 알고리즘을 사용합니다. 이 방법은 민감한 환자 데이터를 보안, 개인 정보 보호 및 기밀성 측면에서 위험에 노출시킵니다. 현재 제약 및 보험 기업들이 이러한 데이터 세트에 관심이 있기 때문에, 해킹이 크게 증가했습니다. 의료 파일 해킹은 정부 사이버 공격의 일부일 수도 있습니다.

또한, 의료 데이터의 의도적인 수정으로 의료에서 오류나 편향을 유발하는 데이터 오염(Data Poisoning)은 의료 데이터 오용의 또 다른 주요 위험입니다. 이는 의료 조언의 정확성과 신뢰성을 해칩니다. COVID-19 팬데믹과 같은 다양한 역학 데이터 모델을 사용하는 AI는 다양한 결과를 낳을 수 있습니다.

또 다른 문제는 결함이 있는 의료 알고리즘입니다. 이는 유효성을 테스트하기 위한 확립된 표준이 없기 때문에 알고리즘 테스트가 불충분해서 발생할 수 있습니다. 예를 들어, 이중 맹검 시험은 치료가 효과적임을 입증하는 가장 효과적인 방법입니다. 

그럼에도 불구하고, 그러한 실수에 대해 누가 책임을 질까요? 개인 의사, 병원, 장비 제공업체, 아니면 알고리즘 개발자? 따라서 기계 오작동으로 인한 의료 오류는 심각한 법적 문제를 제기합니다.

AI 챗봇이 의사를 연기하다? 🤖 아직은 아닙니다.

한 연구에 따르면 그들의 진단 기술은 최악의 경우에도 불안정합니다.

의료 AI는 아직 당신의 건강을 맡길 만큼 뇌가 발달하지 않았습니다. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 1월 2, 2025

또한, AI는 의사-환자 관계를 손상시킬 수도 있습니다. 따라서 의사는 AI의 역할을 환자에게 설명하고 환자 불안을 줄이기 위해 AI 평가 및 성능을 이해해야 합니다.

마지막으로, '게으른 의사' 현상이 존재합니다. 의사가 진단과 치료를 위해 AI 알고리즘만 전적으로 사용하면, 이는 실용적 기술, 지적 창의성, 그리고 의료 문제 해결 능력의 점진적이고 되돌릴 수 없는 상실을 초래할 수 있습니다.

그러나 사람들은 일상 생활에서 챗봇에 익숙해졌습니다. 적절한 연구를 통해 AI 챗봇은 의사가 저지르는 작은 실수를 제거하여 의료 공간을 더 안전하게 만들 수 있습니다.