Kazajstán lanzará su primer modelo de lenguaje grande

El 16 de diciembre, Kazajistán está preparado para dar un gran paso tecnológico adelante lanzando su primer modelo de lenguaje grande (LLM) llamado KazLLM. Este lanzamiento coincide con el 33.º aniversario de independencia del país.

También lea: La IA generativa da vida a los NPCs de los videojuegos

El Instituto de Sistemas Inteligentes e Inteligencia Artificial (ISSAI) anunció esto durante su conferencia de prensa en la Universidad Nazarbayev el 18 de julio. La recopilación de datos del proyecto comenzó en marzo y el modelo se está entrenando utilizando una plataforma de computación en la nube suministrada con nodos NVIDIA H100.

Estudiantes y expertos unen fuerzas en el desarrollo de IA

Estudiantes de la Universidad Nazarbayev, estudiantes de la Universidad de TI de Astana, graduados de la beca Bolashak y participantes locales están colaborando en el proyecto KazLLM. El objetivo principal de esta iniciativa es crear KazLLM y formar una fuerza laboral capaz de producir herramientas y aplicaciones de IA inteligentes.

La brecha tecnológica con otros países es lo que el fundador y director del ISSAI, el profesor Atakan Varol, quiere cerrar a través de este proyecto. Dijo que, una vez completado, Kazajistán estará solo 18 meses por detrás en términos tecnológicos con respecto a las naciones líderes. Se prevé que la integración de características de voz acorte este período a 12 meses, mientras que avances adicionales en modelos de visión lingüística podrían colocar a Kazajistán a la vanguardia del desarrollo de IA.

Los artículos de Wikipedia, medios de noticias, sitios web gubernamentales y conjuntos de datos abiertos como Common Crawl son algunas de las fuentes donde se obtienen los datos para el proyecto. Durante más de cinco años, el ISSAI ha estado creando varios conjuntos de datos de procesamiento de lenguaje natural específicamente diseñados para el idioma kazajo. Esta extensa colección de conjuntos de datos es muy importante, ya que ayudan a entrenar KazLLM de manera efectiva y precisa.

Kazajistán espera abordar la seguridad nacional y de la información con la innovación de IA

El proyecto KazLLM tiene implicaciones de seguridad nacional y de la información. Kazajistán espera minimizar su dependencia de la tecnología extranjera que puede resultar en brechas de datos y la presentación de información distorsionada, creando un modelo de lenguaje fabricado localmente.

Madina Abdrakhmanova, Directora Adjunta de Relaciones Externas y Científica de Datos Principal, destacó el amplio corpus de entrenamiento del modelo. “Consistirá en un mínimo de 100 mil millones de tokens en los idiomas kazajo, ruso, inglés y turco, con cada idioma representado por 25 mil millones de tokens”, dijo la directora.

Actualmente, el proyecto tiene más de 30 mil millones de tokens, incluidos 26 mil millones de tokens producidos a través del traductor Tilmash que convierte datos de inglés a kazajo. Esta capacidad de traducción asegura que el modelo pueda generar texto coherente y preciso en el idioma kazajo.

También lea: OpenAI se vuelve más ligero, lanza un modelo de IA más barato llamado GPT-4o mini

ISSAI tiene la intención de crear una interfaz fácil de usar para KazLLM, similar a la de los modelos de OpenAI, para hacerla más accesible. Una vez completado, podrá admitir la interacción del modelo, el aprendizaje por refuerzo a partir de la retroalimentación humana y el ajuste para diferentes situaciones para maximizar el rendimiento. KazLLM se ofrecerá como un paquete de suscripción general y como una API para usuarios experimentados.