Das Pentagon geht eine Partnerschaft mit einem KI-Unternehmen ein, um neue LLM-Modelle zu testen 

Scale AI erstellt einen Test- und Evaluierungsplan (T&E) für die Large Language Models (LLMs) des Pentagons. Das Projekt zielt darauf ab, sicherzustellen, dass KI-Modelle für den militärischen Einsatz sicher und zuverlässig sind.

Das Chief Digital and Artificial Intelligence Office (CDAO) des Pentagons benötigt eine Möglichkeit, KI-Modelle für den militärischen Einsatz zu testen und zu bewerten. Das CDAO möchte LLMs nutzen, um die militärische Planung und Entscheidungsfindung zu unterstützen und zu verbessern. LLMs können diese Prozesse jedoch auch stören.

Das Pentagon nutzt seit langem T&E-Prozesse, um sicherzustellen, dass seine Systeme, Plattformen und Technologien gut funktionieren. Die Sicherheitsstandards und -richtlinien für KI sind jedoch noch nicht festgelegt. Die Komplexität und Unsicherheit von LLMs macht T&E für generative KI noch schwieriger.

Wie wird es funktionieren?

Scale AI wird ein Rahmenwerk für das CDAO erstellen, um LLMs zu testen und zu bewerten. Der T&E-Prozess wird die Erstellung von „Holdout-Datensätzen“ umfassen, bei denen DOD-Insider Prompt-Antwort-Paare erstellen und sie schichtweise überprüfen. Die Experten werden sicherstellen, dass jede Antwort so gut ist wie eine menschliche Antwort im militärischen Kontext.

Der Prozess wird iterativ sein, und sobald die Datensätze bereitstehen, werden die Experten bestehende LLMs gegen diese bewerten. Schließlich werden die Modelle CDAO-Beamte signalisieren, wenn sie beginnen, von den Domänen abzuweichen, gegen die sie getestet wurden.

Das Ziel des Pentagons

Das Ziel ist es, die Robustheit und Widerstandsfähigkeit von KI-Systemen in klassifizierten Umgebungen zu verbessern. Dies ermöglicht die Einführung von LLM-Technologie in sicheren Umgebungen. Das Unternehmen plant, so viel wie möglich des Entwicklungsprozesses zu automatisieren. Auf diese Weise kann bei neuen Modellen ein grundlegendes Verständnis dafür entstehen, wie sie performen werden, wo sie am besten performen und wo sie wahrscheinlich versagen werden.

Vorteile der Partnerschaft

Die Partnerschaft zwischen Scale AI und dem DoD ist ein bedeutender Schritt hin zur sicheren und verantwortungsvollen Bereitstellung von LLMs und generativer KI innerhalb des Militärs. Das T&E-Rahmenwerk wird dem DoD helfen, die Stärken und Grenzen der Technologie zu verstehen. Es wird auch sicherstellen, dass die Modelle für militärische Anwendungen zuverlässig, sicher und effektiv sind.

Alexandr Wang, CEO von Scale AI, sagte: „Das Testen und Bewerten generativer KI wird dem DoD helfen, die Stärken und Grenzen der Technologie zu verstehen, damit sie verantwortungsvoll eingesetzt werden kann. Scale ist geehrt, mit dem DoD an diesem Rahmenwerk zusammenzuarbeiten.“

Neben dem CDAO hat Scale AI Partnerschaften mit Meta, Microsoft, der US-Armee, der Defense Innovation Unit, OpenAI, General Motors, Toyota Research Institute, Nvidia und anderen eingegangen. Diese Partnerschaften zeigen das Engagement von Scale AI, die sichere und verantwortungsvolle Bereitstellung von KI-Technologie zu gewährleisten.

Die Partnerschaft zwischen Scale AI und dem Pentagon ist ein großer Schritt. Sie dient der sicheren Nutzung von LLMs und generativer KI im Militär. Das T&E-Rahmenwerk wird dem Verteidigungsministerium helfen, die Stärken und Grenzen der Technologie zu verstehen. Es wird auch sicherstellen, dass die Modelle zuverlässig, sicher und effektiv sind. Dies gilt für den militärischen Einsatz. Mit Scale AIs Expertise und dem Bedarf des Pentagons an T&E ist diese Partnerschaft ein Win-Win für beide Seiten.