Kazajstán lanzará su primer modelo lingüístico a gran escala

El 16 de diciembre, Kazajistán dará un gran paso tecnológico con el lanzamiento de su primer modelo de lenguaje de gran tamaño (LLM), llamado KazLLM. Este lanzamiento coincide con el 33.º aniversario de la independencia del país.

Lea también: La IA generativa da vida a los NPC de los videojuegos

El Instituto de Sistemas Inteligentes e Inteligencia Artificial (ISSAI) anunció esto durante su sesión informativa en la Universidad Nazarbáyev el 18 de julio. La recopilación de datos del proyecto comenzó en marzo y el modelo se está entrenando utilizando una plataforma de computación en la nube con nodos NVIDIA H100.

denty expertos unen fuerzas en el desarrollo de IA

dentde la Universidad Nazarbáyev,dentde la Universidad de Tecnología de la Información de Astaná, becarios de Bolashak y participantes locales colaboran en el proyecto KazLLM. El objetivo principal de esta iniciativa es crear KazLLM y formar una fuerza laboral capaz de producir herramientas y aplicaciones inteligentes de IA.

La brecha tecnológica con otros países es lo que el fundador y director de ISSAI, el profesor Atakan Varol, busca superar con este proyecto. Afirmó que, una vez finalizado, Kazajistán se encontraría tan solo 18 meses por detrás de las naciones líderes en términos tecnológicos. Se prevé que la integración de funciones de voz acorte este plazo a 12 meses, mientras que los avances adicionales en el modelo de visión del lenguaje podrían situar a Kazajistán a la vanguardia del desarrollo de la IA.

Artículos de Wikipedia, medios de comunicación, sitios web gubernamentales y conjuntos de datos abiertos como Common Crawl son algunas de las fuentes de donde se obtienen los datos para el proyecto. Durante más de cinco años, ISSAI ha estado creando diversos conjuntos de datos de procesamiento del lenguaje natural diseñados específicamente para el idioma kazajo. Esta extensa colección de conjuntos de datos es fundamental, ya que facilita el entrenamiento de KazLLM de forma eficaz y precisa.

Kazajstán espera abordar la seguridad nacional y de la información con innovación en IA

El proyecto KazLLM tiene implicaciones para la seguridad nacional y de la información. Kazajistán espera minimizar su dependencia de tecnología extranjera, que podría provocar filtraciones de datos y la presentación de información distorsionada, mediante la creación de un modelo lingüístico local.

La subdirectora de Relaciones Externas y científica principal de datos, Madina Abdrakhmanova, destacó el amplio corpus de entrenamiento del modelo. «Constará de un mínimo de 100 000 millones de tokens en kazajo, ruso, inglés y turco, y cada idioma estará representado por 25 000 millones de tokens», declaró la directora.

Actualmente, el proyecto cuenta con más de 30 mil millones de tokens, incluyendo 26 mil millones generados mediante el traductor Tilmash, que convierte datos del inglés al kazajo. Esta capacidad de traducción garantiza que el modelo pueda generar texto coherente y preciso en kazajo.

Lea también: OpenAI se vuelve más liviano y lanza un modelo de IA más económico llamado GPT-4o mini

ISSAI pretende crear una interfaz intuitiva para KazLLM, similar a la de los modelos de OpenAI, para que sea más accesible. Una vez finalizada, permitirá la interacción con los modelos, el aprendizaje por refuerzo basado en la retroalimentación humana y la optimización para diferentes situaciones con el fin de maximizar el rendimiento. KazLLM se ofrecerá como un paquete de suscripción general y como una API para usuarios experimentados.