Пентагон заключает партнерство с ИИ-компанией для тестирования новых моделей LLM 

Scale AI разрабатывает план тестирования и оценки (T&E) для больших языковых моделей (LLM) Пентагона. Проект направлен на обеспечение безопасности и надежности моделей ИИ для военного использования.

Главное управление цифровой и искусственного интеллекта Пентагона (CDAO) нуждается в способе тестирования и оценки моделей ИИ для военного использования. CDAO хочет использовать LLM для поддержки и улучшения военного планирования и принятия решений. Однако LLM также могут нарушить эти процессы.

Пентагон давно использует процессы T&E для обеспечения работоспособности своих систем, платформ и технологий. Однако стандарты и политики безопасности ИИ еще не установлены. Сложности и неопределенности LLM делают T&E еще более сложным для генеративного ИИ.

Как это будет работать?

Scale AI создаст框架 для CDAO по тестированию и оценке LLM. Процесс T&E будет включать создание «удерживаемых наборов данных», где insiders DoD будут формировать пары запрос-ответ и проверять их слоями. Эксперты обеспечат, чтобы каждый ответ был не хуже человеческого ответа в военной сфере.

Процесс будет итеративным, и как только наборы данных будут готовы, эксперты оценят существующие LLM против них. В конечном итоге модели будут подавать сигналы официальным лицам CDAO, если они начнут отклоняться от доменов, против которых они были протестированы.

Цель Пентагона

Цель состоит в повышении устойчивости и живучести систем ИИ в засекреченных средах. Это позволит внедрить технологию LLM в безопасные среды. Компания планирует автоматизировать как можно больше процесса разработки. Таким образом, по мере поступления новых моделей, будет существовать базовое понимание того, как они будут работать, где они будут работать лучше всего и где они, вероятно, начнут давать сбои.

Преимущества партнерства

Партнерство между Scale AI и DoD является значительным шагом к обеспечению безопасного и ответственного развертывания LLM и генеративного ИИ в военных целях. Система T&E поможет DoD понять сильные и слабые стороны технологии. Она также обеспечит, чтобы модели были надежными, безопасными и эффективными для военных приложений.

Генеральный директор Scale AI, Александер Ванг, сказал: «Тестирование и оценка генеративного ИИ помогут DoD понять сильные и слабые стороны технологии, чтобы она могла быть развернута ответственно. Scale гордится партнерством с DoD в рамках этой системы».

Помимо CDAO, Scale AI заключила партнерства с Meta, Microsoft, Армией США, Инновационным подразделением обороны, OpenAI, General Motors, Toyota Research Institute, Nvidia и другими. Эти партнерства демонстрируют приверженность Scale AI обеспечению безопасного и ответственного развертывания технологии ИИ.

Партнерство между Scale AI и Пентагоном — это большой шаг. Это шаг к обеспечению безопасного использования больших языковых моделей (LLM) и генеративного ИИ в военных целях. Система T&E поможет Министерству обороны (DoD) понять сильные и слабые стороны технологии. Она также обеспечит, чтобы модели были надежными, безопасными и эффективными. Это для военного использования. Благодаря экспертизе Scale AI и потребности Пентагона в T&E, это партнерство является выигрышным для обеих сторон.