Cazaquistão lançará seu primeiro modelo de linguagem grande

Em 16 de dezembro, o Cazaquistão está prestes a dar um grande passo tecnológico à frente, lançando seu primeiro modelo de linguagem grande (LLM) chamado KazLLM. Este lançamento coincide com o 33º aniversário de independência do país.

Também leia: IA generativa dá vida aos NPCs de jogos de vídeo

O Instituto de Sistemas Inteligentes e Inteligência Artificial (ISSAI) anunciou isso durante sua coletiva de imprensa na Universidade Nazarbayev em 18 de julho. A coleta de dados do projeto começou em março e o modelo está sendo treinado usando uma plataforma de computação em nuvem fornecida com nós NVIDIA H100.

Estudantes e especialistas unem forças no desenvolvimento de IA

Estudantes da Universidade Nazarbayev, da Universidade de TI de Astana, graduados pela bolsa Bolashak e participantes locais estão colaborando no projeto KazLLM. O objetivo principal desta iniciativa é criar o KazLLM e formar uma força de trabalho capaz de produzir ferramentas e aplicativos de IA inteligentes.

A lacuna tecnológica com outros países é o que o fundador e chefe do ISSAI, Professor Atakan Varol, quer superar por meio deste projeto. Ele disse que, após sua conclusão, o Cazaquistão ficaria apenas 18 meses atrás em termos de tecnologia em relação às nações líderes. A integração de recursos de voz deve encurtar esse período para 12 meses, enquanto avanços adicionais em modelos de visão de linguagem podem colocar o Cazaquistamento na vanguarda do desenvolvimento de IA.

Artigos da Wikipedia, veículos de notícias, sites governamentais e conjuntos de dados abertos como o Common Crawl são algumas das fontes onde os dados para o projeto são obtidos. Há mais de cinco anos, o ISSAI vem criando vários conjuntos de dados de processamento de linguagem natural especificamente projetados para o idioma cazaque. Esta extensa coleção de conjuntos de dados é muito importante, pois ajudam a treinar o KazLLM de forma eficaz e precisa.

O Cazaquistão espera lidar com a segurança nacional e de informações com inovação em IA

O projeto KazLLM tem implicações de segurança nacional e de informações. O Cazaquistão espera minimizar sua dependência de tecnologia estrangeira que pode resultar em violações de dados e na apresentação de informações distorcidas, criando um modelo de linguagem feito localmente.

Madina Abdrakhmanova, Diretora Adjunta de Relações Externas e Cientista de Dados Principal, destacou o amplo corpus de treinamento do modelo. “Será composto por um mínimo de 100 bilhões de tokens em cazaque, russo, inglês e turco, com cada idioma representado por 25 bilhões de tokens”, disse a diretora.

Atualmente, o projeto tem mais de 30 bilhões de tokens, incluindo 26 bilhões de tokens produzidos pelo tradutor Tilmash que converte dados de inglês para cazaque. Essa capacidade de tradução garante que o modelo possa gerar texto coerente e preciso no idioma cazaque.

Também leia: OpenAI vai leve, lança modelo de IA mais barato chamado GPT-4o mini

O ISSAI pretende criar uma interface amigável para o KazLLM, semelhante àquelas dos modelos da OpenAI, para torná-lo mais acessível. Após a conclusão, ele será capaz de suportar interação com o modelo, aprendizado por reforço a partir de feedback humano e ajuste para diferentes situações para maximizar o desempenho. O KazLLM será oferecido como um pacote de assinatura geral e como uma API para usuários experientes.