Le Kazakhstan lancera son premier grand modèle de langage

Le 16 décembre, le Kazakhstan s’apprête à faire un grand pas technologique en lançant son premier modèle de langage large (LLM) appelé KazLLM. Ce lancement coïncide avec le 33e anniversaire de l’indépendance du pays.

À lire également : L’IA générative donne vie aux PNJ dans les jeux vidéo

L’Institut des systèmes intelligents et de l’intelligence artificielle (ISSAI) a annoncé cela lors de leur briefing à l’Université Nazarbayev le 18 juillet. La collecte de données du projet a commencé en mars et le modèle est entraîné sur une plateforme de calcul en nuage alimentée par des nœuds NVIDIA H100.

Étudiants et experts unissent leurs forces pour le développement de l’IA

Les étudiants de l’Université Nazarbayev, de l’Université des technologies de l’information d’Astana, les boursiers Bolashak et les participants locaux collaborent sur le projet KazLLM. L’objectif principal de cette initiative est de créer KazLLM et de former une main-d’œuvre capable de produire des outils et applications d’IA intelligents.

L’écart technologique avec d’autres pays est ce que le fondateur et directeur de l’ISSAI, le professeur Atakan Varol, souhaite combler grâce à ce projet. Il a déclaré qu’après son achèvement, le Kazakhstan ne serait qu’à 18 mois de retard en termes technologiques par rapport aux nations leaders. L’intégration de fonctionnalités vocales devrait réduire cet écart à 12 mois, tandis que des avancées supplémentaires dans les modèles de vision linguistique pourraient placer le Kazakhstan à l’avant-garde du développement de l’IA.

Les articles de Wikipédia, les médias d’information, les sites web gouvernementaux et les ensembles de données ouverts comme Common Crawl sont quelques-unes des sources où les données du projet sont obtenues. Depuis plus de cinq ans, l’ISSAI crée divers ensembles de données de traitement du langage naturel spécifiquement conçus pour la langue kazakhe. Cette vaste collection de données est très importante car elle aide à entraîner KazLLM de manière efficace et précise.

Le Kazakhstan espère résoudre les questions de sécurité nationale et de sécurité de l’information grâce à l’innovation en IA

Le projet KazLLM a des implications en matière de sécurité nationale et de sécurité de l’information. Le Kazakhstan espère minimiser sa dépendance à l’égard des technologies étrangères qui pourraient entraîner des violations de données et la présentation d’informations déformées, en créant un modèle linguistique fabriqué localement.

Madina Abdrakhmanova, directrice adjointe des relations extérieures et scientifique en chef des données, a mis en évidence le vaste corpus d’entraînement du modèle. « Il sera composé d’un minimum de 100 milliards de tokens en kazakh, russe, anglais et turc, chaque langue étant représentée par 25 milliards de tokens », a déclaré la directrice.

Actuellement, le projet compte plus de 30 milliards de tokens, dont 26 milliards de tokens produits par le traducteur Tilmash qui convertit les données anglaises en kazakhes. Cette capacité de traduction garantit que le modèle peut générer un texte cohérent et précis en langue kazakhe.

À lire également : OpenAI allège l'offre, lance un modèle IA moins cher appelé GPT-4o mini

L’ISSAI a l’intention de créer une interface conviviale pour KazLLM, semblable à celle des modèles d’OpenAI, afin de le rendre plus accessible. Une fois terminé, il sera capable de supporter l’interaction avec le modèle, l’apprentissage par renforcement à partir des retours humains et le réglage pour différentes situations afin de maximiser les performances. KazLLM sera proposé sous forme de forfait d’abonnement général et en tant qu’API pour les utilisateurs expérimentés.