Le Kazakhstan va lancer son premier grand modèle linguistique

Le 16 décembre, le Kazakhstan franchira une étape technologique majeure en lançant son premier modèle de langage à grande échelle (LLM), baptisé KazLLM. Ce lancement coïncide avec le 33e anniversaire de l'indépendance du pays.

À lire également : L’IA générative donne vie aux PNJ des jeux vidéo

L'Institut des systèmes intelligents et de l'intelligence artificielle (ISSAI) a fait cette annonce lors de sa conférence de presse à l'université Nazarbayev le 18 juillet. La collecte de données du projet a débuté en mars et le modèle est en cours d'entraînement sur une plateforme de cloud computing équipée de nœuds NVIDIA H100.

dentet experts unissent leurs forces pour développer l'IA

Desdentde l'Université Nazarbayev, desdentde l'Université des technologies de l'information d'Astana, des boursiers Bolashak et des participants locaux collaborent au projet KazLLM. L'objectif principal de cette initiative est de créer KazLLM et de former une main-d'œuvre capable de développer des outils et des applications d'IA intelligents.

Le professeur Atakan Varol, fondateur et directeur de l'ISSAI, souhaite combler le fossé technologique qui le sépare des autres pays grâce à ce projet. Il a déclaré qu'une fois celui-ci achevé, le Kazakhstan n'accuserait qu'un retard de 18 mois sur les nations les plus avancées en matière de technologie. L'intégration de fonctionnalités vocales devrait réduire ce délai à 12 mois, tandis que les progrès supplémentaires réalisés dans la modélisation de la vision du langage pourraient placer le Kazakhstan à la pointe du développement de l'IA.

Les articles de Wikipédia, les médias d'information, les sites web gouvernementaux et les jeux de données ouverts comme Common Crawl figurent parmi les sources de données utilisées pour ce projet. Depuis plus de cinq ans, l'ISSAI crée divers jeux de données de traitement automatique du langage naturel spécifiquement conçus pour la langue kazakhe. Cette vaste collection de données est essentielle car elle permet d'entraîner KazLLM de manière efficace et précise.

Le Kazakhstan espère relever les défis de la sécurité nationale et de l'information grâce à l'innovation en IA

Le projet KazLLM a des implications en matière de sécurité nationale et de sécurité de l'information. Le Kazakhstan espère réduire sa dépendance aux technologies étrangères, susceptibles d'entraîner des violations de données et la diffusion d'informations déformées, en créant un modèle linguistique local.

La directrice adjointe des relations extérieures et responsable scientifique des données, Madina Abdrakhmanova, a souligné l'étendue du corpus d'entraînement du modèle. « Il comprendra au minimum 100 milliards de jetons en kazakh, russe, anglais et turc, chaque langue étant représentée par 25 milliards de jetons », a-t-elle précisé.

Le projet compte actuellement plus de 30 milliards de jetons, dont 26 milliards produits par le traducteur Tilmash qui convertit les données de l'anglais vers le kazakh. Cette capacité de traduction garantit la génération de textes cohérents et précis en kazakh par le modèle.

À lire également : OpenAI s’allège et lance un modèle d’IA moins cher appelé GPT-4o mini

L'ISSAI prévoit de créer une interface utilisateur conviviale pour KazLLM, similaire à celles des modèles OpenAI, afin d'en faciliter l'accès. Une fois finalisée, cette interface permettra l'interaction avec le modèle, l'apprentissage par renforcement à partir de retours humains et l'optimisation des performances en fonction des situations. KazLLM sera proposé sous forme d'abonnement et via une API pour les utilisateurs expérimentés.