펜타곤, 새로운 LLM 모델 테스트를 위해 AI 기업과 파트너십 

Scale AI는 펜타곤의 대규모 언어 모델(LLM)을 위한 테스트 및 평가(T&E) 계획을 수립하고 있습니다. 이 프로젝트는 AI 모델이 군사 용도로 안전하고 신뢰할 수 있도록 하는 것을 목표로 합니다.

펜타곤의 디지털 및 인공지능 사무국(CDAO)은 군사 용도로 AI 모델을 테스트하고 평가할 방법을 필요로 합니다. CDAO는 LLM을 사용하여 군사 계획과 의사 결정을 지원하고 개선하고자 합니다. 그러나 LLM은 이러한 과정을 방해할 수도 있습니다.

펜타곤은 오랫동안 T&E 프로세스를 사용하여 시스템, 플랫폼 및 기술이 잘 작동하도록 보장해 왔습니다. 그러나 AI 안전 표준과 정책은 아직 설정되지 않았습니다. LLM의 복잡성과 불확실성은 생성형 AI에 대한 T&E를 더욱 어렵게 만듭니다.

어떻게 작동합니까?

Scale AI는 CDAO가 LLM을 테스트하고 평가할 수 있는 프레임워크를 만들 것입니다. T&E 프로세스에는 '홀드아웃 데이터셋'을 생성하는 것이 포함되며, 국방부 내부자는 응답 쌍에 프롬프트를 제공하고 계층적으로 검토합니다. 전문가들은 각 응답이 군대의 인간 응답과 동일하게 좋도록 보장합니다.

이 과정은 반복적이며, 데이터셋이 준비되면 전문가들은 기존 LLM을这些数据로 평가할 것입니다. 결국, 모델은 테스트된 도메인에서 벗어나기 시작하면 CDAO 관리자에게 신호를 보낼 것입니다.

펜타곤의 목표

목표는 기밀 환경에서 AI 시스템의 견고성과 복원력을 향상시키는 것입니다. 이를 통해 보안 환경에서 LLM 기술의 채택이 가능해집니다. 회사는 개발 과정의 가능한 많은 부분을 자동화할 계획입니다. 이렇게 하면 새로운 모델이 들어올 때, 그들이 어떻게 수행될지, 어디에서 가장 잘 수행될지, 그리고 어디에서 실패하기 시작할지에 대한 기본 이해를 가질 수 있습니다.

파트너십의 이점

Scale AI와 DoD 간의 파트너십은 군대 내에서 LLM과 생성형 AI의 안전하고 책임감 있는 배포를 보장하기 위한 중요한 단계입니다. T&E 프레임워크는 DoD가 기술의 강점과 한계를 이해하는 데 도움이 될 것입니다. 또한 모델이 군사 응용 프로그램에 대해 신뢰할 수 있고, 안전하며, 효과적임을 보장합니다.

Scale AI의 CEO인 알렉산드르 왕(Alexandr Wang)은 “생성형 AI를 테스트하고 평가하면 국방부(DoD)가 기술의 강점과 한계를 이해하여 책임 있게 배포할 수 있게 됩니다. Scale은 이 프레임워크를 위해 국방부와 파트너십을 맺게 되어 영광입니다.”라고 말했습니다.

CDAO 외에도 Scale AI는 메타(Meta), 마이크로소프트(Microsoft), 미국 육군, 국방혁신단(DIU), 오픈AI(OpenAI), 제너럴 모터스(GM), 토요타 리서치 인스티튜트, 엔비디아(Nvidia) 등 다양한 기관과 파트너십을 맺었습니다. 이러한 파트너십은 Scale AI가 AI 기술의 안전하고 책임 있는 배포를 보장하려는 의지를 보여줍니다.

Scale AI와 펜타곤 간의 파트너십은 군대에서 LLM과 생성형 AI의 안전한 사용을 보장하기 위한 큰 단계입니다. T&E 프레임워크는 국방부가 기술의 강점과 한계를 이해하는 데 도움이 될 것입니다. 또한 모델이 신뢰할 수 있고, 안전하며, 효과적임을 보장합니다. 이는 군사 용도를 위한 것입니다. Scale AI의 전문성과 펜타곤의 T&E 필요성으로 인해, 이 파트너십은 양측 모두에게 윈윈입니다.