美国国防部（DoD）完成利用聊天机器人进行军事医疗的试点项目

拜登政府任期内最后一个与国防部（DoD）相关的项目已圆满结束。美国国防部首席数字和人工智能办公室（CDAO）已完成众包人工智能红队测试（CAIRT）保证计划试点。该倡议致力于将AI聊天机器人整合到军事医疗服务中。 

大型语言模型（LLM）聊天机器人已部署在CAIRT项目中。此外， CAIRT 协助国防部制定了去中心化的众包人工智能风险缓解和人工智能保证策略。

超过200名临床医生和医疗分析师参与了识别军事医疗应用中AI聊天机器人潜在漏洞的工作。值得注意的是，据国防部报告，该试点发现了数百个潜在问题。

为此，国防部表示， “这项演习将通过开发基准数据集产生可重复和可扩展的成果，这些数据集可用于评估未来供应商和工具是否符合性能预期。” 

CAIRT项目幕后

据国防部称，CAIRT LLM试点由一家非营利人道智能机构执行。该机构与国防卫生局（DHA）和国防医疗管理系统项目执行办公室（PEO DHMS）合作实现了这一目标。

此外，人道智能机构使用红队测试方法来识别具体的系统问题。这涉及使用对抗性技术对系统弹性进行内部测试。 

此外，红队测试吸引了对新兴技术感兴趣且可能成为未来受益者的参与者。他们有机会为系统的增强做出贡献。

在该项目中，人道智能机构利用众包红队测试来解决军事医学中的两个潜在应用：临床笔记摘要和医疗咨询聊天机器人。

尽管发现了漏洞，但国防部强调， “这些发现将在塑造国防部负责任使用 生成式人工智能（GenAI） 的政策和最佳实践方面发挥关键作用，最终改善军事医疗服务。如果这些前瞻性用例在部署时属于OMB M-24-10定义的受管人工智能，它们将遵守所有必需的风险管理实践。”

尽管如此，国防部表示，CAIRT保证计划将继续测试LLM和AI系统。这将加速CDAO的人工智能快速能力小组的工作，使GenAI目标更有效，并帮助在所有国防部用例中建立信任。

该倡议的CDAO负责人马修·约翰逊博士也表示， “由于在国防部内将GenAI应用于此类目的仍处于试点和实验的早期阶段，该计划作为生成大量测试数据、揭示需考虑领域以及验证缓解选项的重要先驱，将塑造未来GenAI系统的研究、开发和保证，这些系统未来可能会部署，”

预计新一届政府将继续推进这些项目。特朗普团队对AI持开放态度，即使他们正寻求与中国竞争。

AI在医疗领域的安全性如何？ 

尽管AI对医学科学有着巨大的积极影响，但也伴随着若干重大风险和危险。

目前，AI系统使用需要海量数据集以提高精度的特定算法。这种方法使敏感的患者数据面临安全、隐私和保密性的风险。目前，由于制药和保险公司对这些数据集感兴趣， 黑客攻击大幅增加。医疗文件黑客攻击也可能是政府网络攻击的一部分。

此外，数据投毒（即故意修改医疗数据以在医疗保健中引发错误或偏见）是医疗数据滥用的另一个主要风险。这会损害医疗建议的准确性和可靠性。使用不同流行病学数据模型的AI（如在COVID-19疫情期间）可能会产生不同的结果。

另一个问题是存在缺陷的医疗算法。这可能是由于算法测试不足，因为目前缺乏测试其有效性的既定标准。例如，双盲试验是证明治疗方法有效的最有效方式。 

然而，谁应对此类错误负责——是个人医生、医院、设备提供商还是算法开发者？因此，由机器故障引起的医疗错误引发了严重的法律问题。

AI聊天机器人扮演医生？🤖 尚未完全实现。

一项研究表明，它们的诊断技能充其量也摇摇欲坠。

医疗AI在值得信赖之前，仍需大脑升级。🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 1月 2日, 2025

此外，AI也可能损害医患关系。因此，医生需要了解AI的评估和性能，以便向患者解释其作用并减少患者的焦虑。

最后， 存在一种被称为“懒惰医生”效应的现象。如果医生 exclusively 依赖AI算法进行诊断和治疗，这可能导致实践能力、智力创造力和解决医疗问题能力的逐渐且不可逆的丧失。

然而，人们已经习惯了 日常生活中的聊天机器人。 通过适当的研究，AI聊天机器人可以消除医生犯的小错误，从而使医疗空间更安全。