Cazaquistão lançará seu primeiro modelo de linguagem em larga escala

No dia 16 de dezembro, o Cazaquistão dará um grande passo tecnológico com o lançamento de seu primeiro modelo de linguagem abrangente (LLM, na sigla em inglês), chamado KazLLM. Esse lançamento coincide com o 33º aniversário da independência do país.

Leia também: IA generativa dá vida a NPCs de videogames

O Instituto de Sistemas Inteligentes e Inteligência Artificial (ISSAI) anunciou isso durante uma apresentação na Universidade Nazarbayev em 18 de julho. A coleta de dados do projeto começou em março e o modelo está sendo treinado usando uma plataforma de computação em nuvem equipada com nós NVIDIA H100.

dente especialistas unem forças no desenvolvimento de IA

dentda Universidade Nazarbayev,dentda Universidade de TI de Astana, bolsistas do programa Bolashak e participantes locais estão colaborando no projeto KazLLM. O principal objetivo desta iniciativa é criar o KazLLM e formar uma força de trabalho capaz de produzir ferramentas e aplicações de IA inteligentes.

O fundador e diretor do ISSAI, Professor Atakan Varol, pretende colmatar a lacuna tecnológica em relação a outros países através deste projeto. Ele afirmou que, após a sua conclusão, o Cazaquistão estará apenas 18 meses atrasado em termos tecnológicos em comparação com as nações líderes. A integração de funcionalidades de voz deverá reduzir este atraso para 12 meses, enquanto os avanços adicionais no modelo de visão computacional poderão colocar o Cazaquistão na vanguarda do desenvolvimento da IA.

Artigos da Wikipédia, veículos de notícias, sites governamentais e conjuntos de dados abertos como o Common Crawl são algumas das fontes de onde os dados para o projeto são obtidos. Há mais de cinco anos, o ISSAI vem criando diversos conjuntos de dados de processamento de linguagem natural especificamente projetados para o idioma cazaque. Essa extensa coleção de conjuntos de dados é muito importante, pois auxilia no treinamento eficaz e preciso do KazLLM.

O Cazaquistão espera enfrentar os desafios da segurança nacional e da informação com inovação em IA

O projeto KazLLM tem implicações para a segurança nacional e da informação. O Cazaquistão espera minimizar sua dependência de tecnologia estrangeira, que pode resultar em violações de dados e na apresentação de informações distorcidas, criando um modelo de linguagem desenvolvido localmente.

A vice-diretora de Relações Externas e cientista de dados líder, Madina Abdrakhmanova, destacou o amplo conjunto de treinamento do modelo. "Ele será composto por um mínimo de 100 bilhões de tokens nos idiomas cazaque, russo, inglês e turco, com cada idioma representado por 25 bilhões de tokens", afirmou a diretora.

Atualmente, o projeto possui mais de 30 bilhões de tokens, incluindo 26 bilhões de tokens produzidos pelo tradutor Tilmash, que converte dados do inglês para o cazaque. Essa capacidade de tradução garante que o modelo possa gerar textos coerentes e precisos em cazaque.

Leia também: OpenAI lança versão mais acessível, modelo de IA chamado GPT-4o mini.

A ISSAI pretende criar uma interface amigável para o KazLLM, semelhante às dos modelos da OpenAI, para torná-lo mais acessível. Após a conclusão, será possível interagir com o modelo, realizar aprendizado por reforço a partir do feedback humano e ajustar o modelo para diferentes situações, maximizando seu desempenho. O KazLLM será oferecido como um pacote de assinatura geral e como uma API para usuários experientes.