五角大楼与一家AI公司合作测试新的LLM模型 

Scale AI正在为五角大楼的大型语言模型（LLM）制定测试和评估（T&E）计划。该项目旨在确保AI模型在军事使用中安全可靠。

五角大楼首席数字和人工智能办公室（CDAO）需要一种方法来测试和评估用于军事的AI模型。CDAO希望使用LLM来支持和改善军事规划和决策。然而，LLM也可能扰乱这些流程。

五角大楼长期以来一直使用T&E流程来确保其系统、平台和技术运行良好。但是，AI安全标准 and 政策尚未确立。LLM的复杂性和不确定性使得生成式AI的T&E更加困难。

它将如何运作？

Scale AI将为CDAO创建一个框架来测试和评估LLM。T&E流程将包括创建“保留数据集”，国防部内部人员将在其中提示响应对，并分层审查它们。专家将确保每个响应在军事环境中与人类响应一样好。

该过程将是迭代的，一旦数据集准备就绪，专家将根据这些数据集评估现有的LLM。最终，如果模型开始偏离其经过测试的领域，它们将向CDAO官员发出信号。

五角大楼的目标

目标是增强机密环境中AI系统的稳健性和弹性。这将使LLM技术在安全环境中得以采用。该公司计划尽可能自动化开发过程。这样，随着新模型的引入，可以对它们的性能、最佳表现领域以及可能开始失败的领域有基本的了解。

合作的好处

Scale AI与国防部的合作是确保LLM和生成式AI在军事中安全和负责任部署的重要一步。T&E框架将帮助国防部了解技术的优势和局限性。它还将确保模型在军事应用中可靠、安全和有效。

Scale AI的首席执行官亚历山大·王表示：“测试和评估生成式AI将帮助国防部了解技术的优势和局限性，从而可以负责任地部署。Scale AI很荣幸能与国防部在这一框架上合作。”

除了CDAO，Scale AI还与Meta、微软、美国陆军、国防创新单元、OpenAI、通用汽车、丰田研究所、英伟达等建立了合作伙伴关系。这些合作展示了Scale AI致力于确保AI技术的安全和负责任部署。

Scale AI与五角大楼的合作是一个重大步骤，旨在确保LLM和生成式AI在军事中的安全使用。T&E框架将帮助国防部了解技术的优势和局限性。它还将确保模型是可靠、安全和有效的。这是为了军事用途。凭借Scale AI的专业知识和五角大楼对T&E的需求，这项合作对双方都是双赢的。