미국 국방부(DoD)가 군의료 분야에 챗봇을 활용하는 시범 프로그램을 완료했습니다

바이든 행정부 하에서 국방부 관련 마지막 프로젝트 중 하나가 성공적으로 마무리되었습니다. 미 국방부 산하 최고 디지털 및 인공지능 사무국(CDAO)은 크라우드소싱 AI 레드팀(CAIRT) 보증 프로그램 시범 사업을 완료했습니다. 이 사업은 AI 챗봇을 군 의료 서비스에 통합하는 것을 목표로 합니다. 

대규모 언어 모델(LLM) 챗봇은 CAIRT 프로그램에 구현되었습니다. 또한 CAIRT는 미 국방부가 인공지능 위험 완화 및 인공지능 보증을 위한 분산형 크라우드소싱 전략을 개발하는 데 도움을 주었습니다.

200명이 넘는 임상 의료진과 의료 분석가들이 군 의료 분야에서 AI 챗봇 사용 시 발생할 수 있는 잠재적 취약점을dent하는 데 참여했습니다. 특히, 미 국방부에 따르면 이번 시범 사업을 통해 수백 건의 잠재적 문제점이dent되었습니다.

국방부는 이를 위해 "이번 훈련을 통해 벤치마크 데이터 세트를 개발함으로써 반복 가능하고 확장 가능한 결과를 얻을 수 있으며, 이 데이터는 향후 공급업체와 도구가 성능 기대치에 부합하는지 평가하는 데 사용될 수 있다"고 밝혔습니다. 

CAIRT 프로그램 비하인드 스토리

미 국방부에 따르면, 비영리 인도주의 정보 단체가 CAIRT LLM 시범 사업을 수행했습니다. 이 사업은 국방보건국(DHA) 및 국방의료관리시스템 프로그램집행실(PEO DHMS)과의 협력을 통해 이루어졌습니다.

또한, 인간 중심적 정보 수집팀은 레드팀 기법을 사용하여 특정 시스템 문제를dent. 이는 적대적 기법을 활용한 시스템 복원력의 내부 테스트를 포함합니다. 

또한, 레드팀 활동에는 신기술에 관심이 있고 미래의 잠재적 수혜자가 될 수 있는 참가자들이 참여했습니다. 이들은 시스템 개선에 기여할 기회를 얻었습니다.

이 프로그램에서 인도주의적 지능은 크라우드소싱 기반의 레드팀 활동을 통해 군사 의학 분야의 두 가지 잠재적 응용 분야, 즉 임상 기록 요약 및 의료 자문 챗봇을 개발했습니다.

취약점이 확인되었지만dent미 국방부는 의 책임 있는 사용을 위한 미 국방부 정책 및 모범 사례를 수립하는 데 중요한 역할을 할 것이며 생성형 인공지능(GenAI) 궁극적으로 군 의료 서비스를 개선할 것"이라고 강조했습니다. 또한 "이러한 잠재적 사용 사례가 OMB M-24-10에 정의된 대상 AI에 해당될 경우 defi모든 필수 위험 관리 관행을 준수할 것"이라고 덧붙였습니다.

그럼에도 불구하고, 미 국방부는 CAIRT 보증 프로그램이 LLM 및 AI 시스템에 대한 테스트를 계속 진행할 것이라고 밝혔습니다. 이는 CDAO의 AI 신속 역량 개발팀의 속도를 높이고, GenAI 목표를 더욱 효과적으로 달성하며, 모든 미 국방부 활용 사례 전반에 걸쳐 신뢰를 구축하는 데 도움이 될 것입니다.

CDAO의 이 계획 책임자인 매튜 존슨 박사는 또한 "국방부 내에서 이러한 목적으로 GenAI를 적용하는 것은 아직 초기 시범 및 실험 단계에 있기 때문에, 이 프로그램은 방대한 테스트 데이터를 생성하고, 고려해야 할 영역을 파악하고, 향후 배포될 수 있는 GenAI 시스템의 연구, 개발 및 보증 방향을 결정할 완화 방안을 검증하는 데 필수적인 선구자 역할을 합니다."라고 말했습니다.

차기 행정부는 이러한 프로젝트들을 계속 추진할 것으로 예상됩니다. 트럼프 행정부는 중국과의 경쟁을 추구하는 동시에 인공지능에 대해 열린 자세를 보이고 있습니다.

의료 분야에서 인공지능은 얼마나 안전할까요? 

인공지능은 의학에 지대한 긍정적인 영향을 미치지만, 동시에 여러 가지 중대한 위험과 부작용도 수반합니다.

인공지능 시스템은 상태 정보를 제공하기 위해 방대한 데이터 세트를 필요로 하는 특정 알고리즘을 사용합니다. 이러한 방식은 환자의 민감한 데이터를 보안, 개인정보 보호 및 기밀 유지 측면에서 위험에 빠뜨립니다dent현재 제약 회사와 보험 회사들이 이러한 데이터 세트에 관심을 가지면서 해킹이 크게 증가하고 있습니다. 의료 파일 해킹은 정부 차원의 사이버 공격의 일부일 가능성도 있습니다.

또한, 의료 데이터 조작, 즉 의료 정보에 오류나 편향을 유발하기 위해 의도적으로 데이터를 변조하는 행위는 의료 데이터 오용의 또 다른 주요 위험 요소입니다. 이는 의료 조언의 정확성과 신뢰성을 저해합니다. 코로나19 팬데믹 사례처럼 다양한 역학 데이터 모델을 사용하는 AI는 각기 다른 결과를 도출할 수 있습니다.

또 다른 문제는 의료 알고리즘의 결함일 수 있습니다. 이는 알고리즘의 유효성을 검증할 확립된 기준이 없기 때문에 알고리즘 테스트가 제대로 이루어지지 않았기 때문일 수 있습니다. 예를 들어, 이중맹검 시험은 치료법의 효과를 입증하는 가장 효과적인 방법입니다. 

그렇다면 이러한 오류에 대한 책임은 누구에게 있을까요? 담당 의사, 병원, 장비 공급업체, 아니면 알고리즘 개발자일까요? 따라서 기계 오작동으로 인한 의료 과실은 심각한 법적 문제를 야기합니다.

AI 챗봇이 의사 역할을 한다고요? 🤖 아직은 아니죠.

한 연구에 따르면 그들의 진단 능력은 기껏해야 미흡한 수준인 것으로 나타났습니다.

의료 AI는 아직 여러분의 건강을 책임지기 전에 더 발전해야 할 부분이 많습니다. 🩺 pic.twitter.com/W2ast8S7iO

— CAD 블랙옵스 (@CADBlackOps) 2025년 1월 2일

또한, AI는 의사와 환자 간의 관계를 저해할 수도 있습니다. 따라서 의사는 AI의 평가 및 성능을 이해하고, 환자에게 AI의 역할을 설명하여 환자의 불안감을 줄여야 합니다.

마지막으로, "게으른 의사" 효과라고 알려진 현상이 있습니다. 의사가 진단과 치료에 인공지능 알고리즘만 전적으로 사용하게 되면, 실질적인 기술, 지적 창의성, 그리고 의학적 문제를 해결하는 능력이 점진적으로, 그리고 돌이킬 수 없이 저하될 수 있습니다.

에 익숙해져 있습니다 이미 일상생활에서 챗봇 적절한 연구를 통해 AI 챗봇은 의사들이 흔히 저지르는 사소한 실수를 줄여 의료 환경을 더욱 안전하게 만들 수 있습니다.