Das Pentagon kooperiert mit einem KI-Unternehmen, um neue LLM-Modelle zu testen 

Scale AI erstellt einen Test- und Evaluierungsplan für die großen Sprachmodelle (LLMs) des Pentagons. Ziel des Projekts ist es, die Sicherheit und Zuverlässigkeit der KI-Modelle für den militärischen Einsatz zu gewährleisten.

Das Chief Digital and Artificial Intelligence Office (CDAO) des Pentagons benötigt eine Möglichkeit, KI-Modelle für militärische Zwecke zu testen und zu evaluieren. Das CDAO möchte LLMs (Levelized Learning Models) zur Unterstützung und Verbesserung der militärischen Planung und Entscheidungsfindung einsetzen. Allerdings können LLMs diese Prozesse auch stören.

Das Pentagon nutzt seit Langem Test- und Evaluierungsverfahren, um die Funktionsfähigkeit seiner Systeme, Plattformen und Technologien sicherzustellen. KI-Sicherheitsstandards und -richtlinien sind jedoch noch nicht festgelegt. Die Komplexität und Unsicherheiten von Lernumgebungen erschweren die Test- und Evaluierung für generative KI zusätzlich.

Wie wird es funktionieren?

Scale AI wird ein Rahmenwerk für das CDAO entwickeln, um LLMs zu testen und zu evaluieren. Der Test- und Evaluierungsprozess umfasst die Erstellung von „Testdatensätzen“, in denen Insider des Verteidigungsministeriums Antwortpaare anfordern und diese schrittweise überprüfen. Die Experten stellen sicher, dass jede Antwort der eines menschlichen Soldaten entspricht.

Der Prozess wird iterativ verlaufen, und sobald die Datensätze vorliegen, werden die Experten bestehende LLMs anhand dieser Datensätze evaluieren. Schließlich werden die Modelle Signale an die CDAO-Beamten senden, falls sie von den getesteten Anwendungsbereichen abweichen.

Das Ziel des Pentagons

Ziel ist es, die Robustheit und Ausfallsicherheit von KI-Systemen in klassifizierten Umgebungen zu verbessern. Dies ermöglicht den Einsatz von LLM-Technologie in Sicherheitsumgebungen. Das Unternehmen plant, den Entwicklungsprozess so weit wie möglich zu automatisieren. Dadurch kann bei der Einführung neuer Modelle ein grundlegendes Verständnis ihrer Funktionsweise, ihrer Stärken und ihrer potenziellen Schwächen gewonnen werden.

Vorteile der Partnerschaft

Die Partnerschaft zwischen Scale AI und dem US-Verteidigungsministerium ist ein wichtiger Schritt hin zu einem sicheren und verantwortungsvollen Einsatz von LLMs und generativer KI im militärischen Bereich. Der Test- und Evaluierungsrahmen wird dem Verteidigungsministerium helfen, die Stärken und Grenzen der Technologie zu verstehen. Er wird außerdem sicherstellen, dass die Modelle für militärische Anwendungen zuverlässig, sicher und effektiv sind.

Alexandr Wang, CEO von Scale AI, sagte: „Das Testen und Bewerten generativer KI wird dem Verteidigungsministerium helfen, die Stärken und Grenzen der Technologie zu verstehen, damit sie verantwortungsvoll eingesetzt werden kann. Scale fühlt sich geehrt, mit dem Verteidigungsministerium an diesem Rahmenwerk zusammenzuarbeiten.“

Neben der CDAO arbeitet Scale AI mit Meta, Microsoft, der US-Armee, der Defense Innovation Unit, OpenAI, General Motors, dem Toyota Research Institute, Nvidia und weiteren Partnern zusammen. Diese Partnerschaften unterstreichen das Engagement von Scale AI für den sicheren und verantwortungsvollen Einsatz von KI-Technologie.

Die Partnerschaft zwischen Scale AI und dem Pentagon ist ein wichtiger Schritt hin zur sicheren Nutzung von LLMs und generativer KI im militärischen Bereich. Der Test- und Evaluierungsrahmen (T&E) wird dem Verteidigungsministerium helfen, die Stärken und Grenzen der Technologie zu verstehen. Er wird außerdem sicherstellen, dass die Modelle zuverlässig, sicher und effektiv. Dies ist für militärische Zwecke bestimmt. Dank der Expertise von Scale AI und dem Bedarf des Pentagons an T&E ist diese Partnerschaft ein Gewinn für beide Seiten.