Kasachstan wird sein erstes Large Language Model starten

Am 16. Dezember macht Kasachstan einen großen technologischen Schritt nach vorn, indem es sein erstes Large Language Model (LLM) namens KazLLM startet. Dieser Start fällt mit dem 33. Jahrestag der Unabhängigkeit des Landes zusammen.

Auch lesen: Generative KI bringt Video-Spieler-NPCs zum Leben

Das Institut für Intelligente Systeme und Künstliche Intelligenz (ISSAI) kündigte dies während ihrer Pressekonferenz an der Nasarbayev-Universität am 18. Juli an. Die Datenerfassung des Projekts begann im März, und das Modell wird mit einer Cloud-Computing-Plattform trainiert, die mit NVIDIA H100-Knoten versorgt wird.

Studenten und Experten arbeiten bei der KI-Entwicklung zusammen

Studenten der Nasarbayev-Universität, der Astana IT University, Bolashak-Stipendiaten und lokale Teilnehmer arbeiten am KazLLM-Projekt zusammen. Das Hauptziel dieser Initiative ist es, KazLLM zu erstellen und eine Arbeitskraft zu schaffen, die in der Lage ist, intelligente KI-Tools und -Anwendungen zu produzieren.

Die technologische Lücke zu anderen Ländern ist das, was ISSAI-Gründer und Leiter Professor Atakan Varol durch dieses Projekt schließen möchte. Er sagte, dass Kasachstan nach Abschluss des Projekts in Bezug auf Technologie nur noch 18 Monate hinter den führenden Nationen liegen würde. Die Integration von Sprachfunktionen wird voraussichtlich diese Spanne auf 12 Monate verkürzen, während zusätzliche Fortschritte bei Sprach- und Bildmodellen Kasachstan an die Spitze der KI-Entwicklung bringen könnten.

Wikipedia-Artikel, Nachrichtenmedien, Regierungswebseiten und offene Datensätze wie Common Crawl sind einige der Quellen, aus denen Daten für das Projekt bezogen werden. Seit über fünf Jahren erstellt ISSAI verschiedene NLP-Datensätze (Natural Language Processing), die speziell für die kasachische Sprache entwickelt wurden. Diese umfangreiche Sammlung von Datensätzen ist sehr wichtig, da sie dabei hilft, KazLLM effektiv und genau zu trainieren.

Kasachstan hofft, nationale und Informationssicherheit mit KI-Innovationen anzugehen

Das KazLLM-Projekt hat Auswirkungen auf die nationale und Informationssicherheit. Kasachstan hofft, seine Abhängigkeit von ausländischer Technologie zu minimieren, die zu Datenpannen und der Darstellung verzerrter Informationen führen kann, indem es ein lokal hergestelltes Sprachmodell erstellt.

Madina Abdrakhmanova, stellvertretende Direktorin für externe Beziehungen und Lead Data Scientist, hob den weitreichenden Trainingskorpus des Modells hervor. „Es wird aus einem Minimum von 100 Milliarden Token in den Sprachen Kasachisch, Russisch, Englisch und Türkisch bestehen, wobei jede Sprache durch 25 Milliarden Token repräsentiert wird“, sagte die Direktorin.

Derzeit hat das Projekt mehr als 30 Milliarden Token, darunter 26 Milliarden Token, die durch den Tilmash-Übersetzer erzeugt wurden, der englische Daten in kasachische Daten umwandelt. Diese Übersetzungsfähigkeit stellt sicher, dass das Modell kohärente und genaue Texte in der kasachischen Sprache generieren kann.

Auch lesen: OpenAI geht sparsamer, veröffentlicht günstigeres KI-Modell namens GPT-4o mini

ISSAI beabsichtigt, eine benutzerfreundliche Oberfläche für KazLLM zu erstellen, ähnlich wie bei OpenAI-Modellen, um sie zugänglicher zu machen. Nach Abschluss wird es in der Lage sein, Modellinteraktion, Verstärkungslernen aus menschlichem Feedback und Feinabstimmung für verschiedene Situationen zu unterstützen, um die Leistung zu maximieren. KazLLM wird als allgemeines Abonnementpaket und als API für erfahrene Benutzer angeboten.