Scale AI는 미 국방부의 대규모 언어 모델(LLM)에 대한 테스트 및 평가(T&E) 계획을 수립하고 있습니다. 이 프로젝트는 AI 모델이 군사적 용도로 안전하고 신뢰할 수 있는지 확인하는 것을 목표로 합니다.
미 국방부 산하 디지털 및 인공지능 최고책임자(CDAO)는 군사적 용도로 사용할 AI 모델을 테스트하고 평가할 방법을 필요로 합니다. CDAO는 LLM(Learning Leadership Model)을 활용하여 군사 계획 및 의사결정을 지원하고 개선하고자 합니다. 그러나 LLM은 이러한 과정에 혼란을 야기할 수도 있습니다.
미 국방부는 시스템, 플랫폼 및 기술이 제대로 작동하는지 확인하기 위해 오랫동안 시험평가(T&E) 절차를 활용해 왔습니다. 그러나 인공지능(AI) 안전 표준 및 정책은 아직 확립되지 않았습니다. 특히, 복잡한 실시간 관리 시스템(LLM)의 불확실성으로 인해 생성형 AI에 대한 시험평가는 더욱 어려워지고 있습니다.
어떻게 작동할까요?
Scale AI는 CDAO가 LLM을 테스트하고 평가할 수 있는 프레임워크를 구축할 것입니다. 테스트 및 평가 프로세스에는 국방부 내부 관계자들이 응답 쌍을 제시하고 단계별로 검토하는 "대체 데이터 세트"를 생성하는 과정이 포함됩니다. 전문가들은 각 응답이 군대에서 사람이 직접 응답하는 것만큼 정확한지 확인할 것입니다.
이 과정은 반복적으로 진행될 것이며, 데이터 세트가 준비되면 전문가들은 기존 LLM 모델을 해당 데이터 세트와 비교하여 평가할 것입니다. 최종적으로, 모델들은 테스트된 영역에서 벗어나기 시작하면 CDAO 담당자들에게 신호를 보낼 것입니다.
펜타곤의 목표
목표는 기밀 환경에서 AI 시스템의 견고성과 복원력을 강화하는 것입니다. 이를 통해 보안 환경에서 LLM 기술을 도입할 수 있게 됩니다. 회사는 개발 프로세스의 최대한 많은 부분을 자동화할 계획입니다. 이렇게 하면 새로운 모델이 추가될 때마다 모델의 성능, 최적의 성능을 발휘하는 영역, 그리고 오류가 발생하기 시작할 가능성이 있는 영역에 대한 기본적인 이해를 확보할 수 있습니다.
파트너십의 이점
Scale AI와 미 국방부 간의 파트너십은 군사 분야에서 LLM(실시간 모델) 및 생성형 AI의 안전하고 책임감 있는 배치를 보장하는 데 중요한 진전입니다. 테스트 및 평가 프레임워크는 미 국방부가 해당 기술의 강점과 한계를 파악하는 데 도움이 될 것입니다. 또한 모델이 군사적 용도에 있어 신뢰할 수 있고 안전하며 효과적인지 확인하는 데에도 기여할 것입니다.
스케일 AI의 CEO인 알렉산드르 왕은 "생성형 AI를 테스트하고 평가하는 것은 미 국방부가 해당 기술의 강점과 한계를 파악하여 책임감 있게 배치하는 데 도움이 될 것입니다. 스케일은 이 프레임워크에서 미 국방부와 협력하게 되어 영광입니다."라고 말했습니다
Scale AI는 CDAO 외에도 Meta, Microsoft, 미 육군, 국방혁신단(Defense Innovation Unit), OpenAI, General Motors, Toyota Research Institute, Nvidia 등과 파트너십을 맺었습니다. 이러한 파트너십은 AI 기술의 안전하고 책임감 있는 도입을 보장하기 위한 Scale AI의 노력을 보여줍니다.
스케일 AI와 미 국방부의 파트너십은 군사 분야에서 LLM(실질적 모델) 및 생성형 AI의 안전한 사용을 보장하기 위한 중요한 발걸음입니다. 시험 및 평가(T&E) 프레임워크는 국방부가 해당 기술의 강점과 한계를 파악하는 데 도움을 줄 것입니다. 또한 모델의 신뢰성, 안전성 및 효율성을 . 이는 군사적 용도에 필수적입니다. 스케일 AI의 전문성과 미 국방부의 T&E 요구가 결합된 이번 파트너십은 양측 모두에게 이익이 될 것입니다.
