Пентагон сотрудничает с компанией, занимающейся искусственным интеллектом, для тестирования новых моделей магистратуры в области права 

Компания Scale AI разрабатывает план тестирования и оценки (T&E) больших языковых моделей (LLM) Пентагона. Цель проекта — обеспечить безопасность и надежность моделей ИИ для использования в военных целях.

Главному управлению цифровых технологий и искусственного интеллекта Пентагона (CDAO) необходим способ тестирования и оценки моделей ИИ для военного применения. CDAO хочет использовать магистерские программы для поддержки и улучшения военного планирования и принятия решений. Однако магистерские программы могут также нарушать эти процессы.

Пентагон давно использует процессы тестирования и оценки для обеспечения бесперебойной работы своих систем, платформ и технологий. Однако стандарты и политика безопасности ИИ еще не установлены. Сложности и неопределенности, связанные с моделями LLM, еще больше затрудняют тестирование и оценку генеративного ИИ.

Как это будет работать?

Компания Scale AI создаст структуру для тестирования и оценки LLM в рамках CDAO. Процесс тестирования и оценки будет включать создание «контрольных наборов данных», где инсайдеры Министерства обороны будут задавать пары ответов и анализировать их послойно. Эксперты обеспечат, чтобы каждый ответ был таким же качественным, как и ответ человека в армии.

Процесс будет итеративным, и как только наборы данных будут готовы, эксперты оценят существующие модели LLM на их основе. В конечном итоге, модели будут посылать сигналы должностным лицам CDAO, если начнут отклоняться от областей, в которых они были протестированы.

Цель Пентагона

Цель состоит в повышении надежности и отказоустойчивости систем искусственного интеллекта в условиях секретности. Это позволит внедрить технологию LLM в защищенные среды. Компания планирует автоматизировать как можно больше процессов разработки. Таким образом, по мере появления новых моделей можно будет получить базовое представление об их производительности, о том, где они будут работать лучше всего, и о том, где они, вероятно, начнут давать сбои.

Преимущества партнерства

Партнерство между Scale AI и Министерством обороны США является важным шагом на пути к обеспечению безопасного и ответственного внедрения моделей с линейной логикой и генеративного искусственного интеллекта в вооруженных силах. Рамочная программа испытаний и оценки поможет Министерству обороны понять сильные и слабые стороны этой технологии. Она также обеспечит надежность, безопасность и эффективность моделей для военных целей.

Генеральный директор Scale AI Александр Ван заявил: «Тестирование и оценка генеративного ИИ помогут Министерству обороны понять сильные и слабые стороны этой технологии, чтобы ее можно было использовать ответственно. Для Scale большая честь сотрудничать с Министерством обороны в рамках этой программы»

Помимо CDAO, Scale AI сотрудничает с Meta, Microsoft, армией США, подразделением оборонных инноваций, OpenAI, General Motors, исследовательским институтом Toyota, Nvidia и другими. Эти партнерства демонстрируют приверженность Scale AI обеспечению безопасного и ответственного внедрения технологий искусственного интеллекта.

Партнерство между Scale AI и Пентагоном — это важный шаг. Он направлен на обеспечение безопасного использования моделей с линейной логикой и генеративного ИИ в военных целях. Рамочная программа испытаний и оценки поможет Министерству обороны понять сильные и слабые стороны технологии, а также гарантировать ее надежность, безопасность и эффективность. Это предназначено для военного применения. Учитывая опыт Scale AI и потребность Пентагона в испытаниях и оценке, это партнерство выгодно обеим сторонам.