O Pentágono firma parceria com uma empresa de IA para testar novos modelos de mestrado em direito (LLM). 

A Scale AI está elaborando um plano de teste e avaliação (T&E) para os grandes modelos de linguagem (LLMs) do Pentágono. O projeto visa garantir que os modelos de IA sejam seguros e confiáveis ​​para uso militar.

O Escritório de Inteligência Artificial e Digital (CDAO) do Pentágono precisa de uma maneira de testar e avaliar modelos de IA para uso militar. O CDAO deseja usar Modelos de Aprendizagem Baseados em Aprendizado (LLMs) para apoiar e aprimorar o planejamento e a tomada de decisões militares. No entanto, os LLMs também podem interromper esses processos.

O Pentágono utiliza processos de teste e avaliação (T&E) há muito tempo para garantir o bom funcionamento de seus sistemas, plataformas e tecnologias. No entanto, os padrões e políticas de segurança para IA ainda não estão definidos. As complexidades e incertezas dos modelos de aprendizagem de longo prazo (LLMs) tornam o T&E ainda mais difícil para a IA generativa.

Como vai funcionar?

A Scale AI criará uma estrutura para o CDAO testar e avaliar os LLMs. O processo de T&E incluirá a criação de "conjuntos de dados de validação" nos quais especialistas do Departamento de Defesa solicitarão pares de respostas e as revisarão em camadas. Os especialistas garantirão que cada resposta seja tão boa quanto a resposta de um humano nas forças armadas.

O processo será iterativo e, assim que os conjuntos de dados estiverem prontos, os especialistas avaliarão os LLMs existentes em relação a eles. Eventualmente, os modelos enviarão sinais aos funcionários do CDAO caso comecem a divergir dos domínios nos quais foram testados.

O objetivo do Pentágono

O objetivo é aprimorar a robustez e a resiliência dos sistemas de IA em ambientes confidenciais. Isso possibilitará a adoção da tecnologia LLM em ambientes seguros. A empresa planeja automatizar o máximo possível do processo de desenvolvimento. Dessa forma, à medida que novos modelos forem implementados, será possível estabelecer uma base de conhecimento sobre seu desempenho, onde terão melhor desempenho e onde provavelmente começarão a apresentar falhas.

Benefícios da parceria

A parceria entre a Scale AI e o Departamento de Defesa dos EUA é um passo significativo para garantir a implantação segura e responsável de Modelos de Aprendizagem Baseados em Aprendizado (LLMs) e Inteligência Artificial generativa no âmbito militar. A estrutura de Testes e Avaliação (T&E) ajudará o Departamento de Defesa a compreender os pontos fortes e as limitações da tecnologia. Também garantirá que os modelos sejam confiáveis, seguros e eficazes para aplicações militares.

O CEO da Scale AI, Alexandr Wang, disse: “Testar e avaliar a IA generativa ajudará o Departamento de Defesa a entender os pontos fortes e as limitações da tecnologia, para que ela possa ser implantada de forma responsável. A Scale se sente honrada em colaborar com o Departamento de Defesa neste projeto.”

Além da CDAO, a Scale AI firmou parcerias com a Meta, Microsoft, Exército dos EUA, Unidade de Inovação de Defesa, OpenAI, General Motors, Instituto de Pesquisa da Toyota, Nvidia e outras. Essas parcerias demonstram o compromisso da Scale AI em garantir a implantação segura e responsável da tecnologia de IA.

A parceria entre a Scale AI e o Pentágono representa um grande passo rumo à segurança do uso de Modelos de Aprendizagem Baseados em Aprendizado (LLMs) e Inteligência Artificial generativa nas forças armadas. A estrutura de Testes e Avaliação (T&E) ajudará o Departamento de Defesa a compreender os pontos fortes e as limitações da tecnologia, garantindo também que os modelos sejam confiáveis, seguros e eficazespara uso militar. Com a expertise da Scale AI e a necessidade de T&E por parte do Pentágono, essa parceria é vantajosa para ambas as partes.