Scale AI élabore un plan de test et d'évaluation pour les grands modèles de langage (LLM) du Pentagone. Ce projet vise à garantir la sécurité et la fiabilité des modèles d'IA pour un usage militaire.
Le Bureau du renseignement numérique et artificiel du Pentagone (CDAO) a besoin d'un moyen de tester et d'évaluer les modèles d'IA à usage militaire. Le CDAO souhaite utiliser les modèles d'apprentissage automatique (LLM) pour soutenir et améliorer la planification et la prise de décision militaires. Cependant, les LLM peuvent également perturber ces processus.
Le Pentagone utilise depuis longtemps les processus d'essais et d'évaluation pour garantir le bon fonctionnement de ses systèmes, plateformes et technologies. Cependant, les normes et politiques de sécurité relatives à l'IA ne sont pas encore établies. La complexité et les incertitudes des modèles de langage rendent les essais et l'évaluation encore plus difficiles pour l'IA générative.
Comment cela va-t-il fonctionner ?
Scale AI créera un cadre permettant au CDAO de tester et d'évaluer les modèles de réponse aux problèmes (LLM). Le processus de test et d'évaluation comprendra la création d'« ensembles de données de validation » où des experts du ministère de la Défense soumettront des paires de réponses et les examineront par étapes. Ces experts s'assureront que chaque réponse est aussi pertinente qu'une réponse humaine au sein des forces armées.
Le processus sera itératif et, une fois les jeux de données prêts, les experts évalueront les modèles de langage existants par rapport à ces derniers. Enfin, les modèles enverront des signaux aux responsables du CDAO s'ils s'écartent des domaines sur lesquels ils ont été testés.
L'objectif du Pentagone
L'objectif est d'améliorer la robustesse et la résilience des systèmes d'IA dans les environnements classifiés. Ceci permettra l'adoption de la technologie LLM dans les environnements sécurisés. L'entreprise prévoit d'automatiser autant que possible le processus de développement. Ainsi, à mesure que de nouveaux modèles seront disponibles, il sera possible d'établir une base de référence quant à leurs performances, leurs points forts et leurs points faibles potentiels.
Avantages du partenariat
Le partenariat entre Scale AI et le Département de la Défense américain (DoD) constitue une avancée majeure pour garantir le déploiement sûr et responsable des modèles de basse consommation (LLM) et de l'intelligence artificielle générative au sein des forces armées. Le cadre d'essais et d'évaluation permettra au DoD de mieux appréhender les atouts et les limites de cette technologie. Il garantira également la fiabilité, la sécurité et l'efficacité des modèles pour les applications militaires.
Le PDG de Scale AI, Alexandr Wang, a déclaré : « Tester et évaluer l’IA générative aidera le ministère de la Défense à comprendre les atouts et les limites de cette technologie, afin qu’elle puisse être déployée de manière responsable. Scale est honorée de collaborer avec le ministère de la Défense sur ce projet. »
Outre le CDAO, Scale AI a noué des partenariats avec Meta, Microsoft, l'armée américaine, la Defense Innovation Unit, OpenAI, General Motors, le Toyota Research Institute, Nvidia et d'autres organisations. Ces partenariats témoignent de l'engagement de Scale AI à garantir un déploiement sûr et responsable des technologies d'IA.
Le partenariat entre Scale AI et le Pentagone représente une avancée majeure. Il vise à garantir l'utilisation sûre des modèles de langage (LLM) et de l'intelligence artificielle générative dans le domaine militaire. Le cadre d'essais et d'évaluation permettra au Département de la Défense de mieux comprendre les atouts et les limites de cette technologie. Il garantira également la fiabilité, la sécurité et l'efficacité , destinés à un usage militaire. Grâce à l'expertise de Scale AI et aux besoins du Pentagone en matière d'essais et d'évaluation, ce partenariat est mutuellement avantageux.
