A Noruega está a caminho de avançar no seu campo de mestrado em direito

O Grupo de Tecnologia da Linguagem (LTG) da Universidade de Oslo preparou três grandes modelos de linguagem (LLMs) em norueguês. Isso foi possível graças ao tempo concedido aos pesquisadores para acessar o computador mais poderoso da Europa, o Lumi, localizado na Finlândia. Os pesquisadores do LTG treinaram seus grandes modelos de linguagem (LLMs) no Lumi antes do Natal e processaram uma grande quantidade de dados para lançar três modelos diferentes de norueguês, com o objetivo de desafiar o ChatGPT. O acesso ao Lumi não é fácil, pois os pesquisadores precisam se inscrever com antecedência e aguardar sua vez, mas o poderoso computador acelera o processo de treinamento de dados.

Por que os noruegueses querem seu próprio modelo linguístico amplo (LLM)?

Os noruegueses queriam construir seu próprio modelo de linguagem, pois havia muitos usos além do idioma nativo para uma adoção mais ampla. Apontando para diferentes problemas associados a soluções comerciais, o professor dematicda Universidade de Oslo, Erik Velldal, disse:

“Existem muitos problemas associados aos modelos de linguagem das gigantes da tecnologia. Eles parecem caixas-pretas para o mundo exterior. Precisamos de alternativas em norueguês.”

Fonte: Erik Velldal.

Anteriormente, a Biblioteca Nacional da Noruega e a Universidade de Oslo trabalharam em alguns modelos da língua norueguesa, mas os desenvolvidos agora são os maiores até o momento, com mais de 30 bilhões de palavras para treinamento. 

O papel do Lumi é importante, pois o treinamento de modelos de IA exige muita capacidade computacional, incluindo várias GPUs. O processo de treinamento pode ser acelerado com o aumento do número de GPUs, e o Lumi oferece uma excelente oportunidade, já que incorpora mais de 10.000 GPUs. 

O professor associado Andrey Kutuzov afirma que, entre muitas outras razões para a criação de um modelo de linguagem norueguês, estava o fato de que modelos como o ChatGPT não se adaptam bem ao conhecimento e aos valores da Noruega. Esses modelos são treinados principalmente em línguas americanas e inglês, portanto, defirefletem a cultura e os valores americanos, e o que os noruegueses precisavam era de algo que estivesse de acordo com suas próprias preferências. Ele diz:

“Um modelo linguístico norueguês refletirá, em muito maior medida, a sociedade tal como a conhecemos na Noruega.”

Fonte: Andrey Kutuzov.

Limitações dos grandes modelos linguísticos noruegueses

Os modelos noruegueses, essencialmente destinados a desenvolvedores e pesquisadores, já foram lançados e baixados por milhares de pessoas. Kutuzov explica que esses modelos não estão disponíveis online na web, pois a interface web é considerada fácil de usar pelo público em geral. Segundo o professor, esses modelos ainda estão longe dos modelos comerciais em termos das possibilidades que oferecem, visto que são modelos básicos gerais. 

Existe uma percepção generalizada no grupo de tecnologia da língua norueguesa de que é necessário desenvolver modelos próprios para competir com o ChatGPT da OpenAI ou o LaMDA do Google. Essa percepção se soma a outras observações feitas, como o fato de os modelos comerciais só permitirem o acesso por meio de suas interfaces web, enquanto o código-fonte do sistema é fechado. Portanto, em muitos contextos, pode ser arriscado fornecer dados a um provedor de serviços terceirizado, como no caso de dados médicos, onde a privacidade é a principal preocupação.

Os modelos de linguagem noruegueses são bastante limitados em comparação com o ChatGPT. Isso porque foram treinados com apenas 0,1% dos dados utilizados no treinamento do ChatGPT. No entanto, esses modelos não são fechados nem restritos, o que os torna mais úteis para pesquisadores.

Alcançar a qualidade e os padrões dos modelos de linguagem americanos ainda é uma tarefa difícil, e os modelos noruegueses precisam de mais desenvolvimento. Para se equipararem ao ChatGPT ou ao Bard, eles precisam de treinamento instrucional para que possam resolver problemas um pouco mais complexos. Há rumores de que novas versões dos modelos serão lançadas e que o processo continuará.