A Noruega está no Caminho de Avançar seu Jogo de LLM

O Grupo de Tecnologia de Linguagem (LTG) da Universidade de Oslo preparou três modelos de linguagem grande (LLMs) noruegueses. Isso se tornou possível quando os pesquisadores receberam tempo para acessar o computador mais poderoso da Europa, Lumi, situado na Finlândia. Pesquisadores do LTG treinaram seus grandes modelos de linguagem (LLMs) no Lumi antes do Natal e processaram uma parte considerável de dados para lançar três diferentes modelos de linguagem norueguesos para desafiar o ChatGPT. O acesso ao Lumi não é fácil de obter, pois os pesquisadores devem se candidatar com antecedência e depois esperar sua vez, mas o computador poderoso acelera o processo de treinamento de dados.

Por que os noruegueses querem seu próprio grande modelo de linguagem (LLM)

Os noruegueses queriam construir seu próprio modelo de linguagem, pois havia muitos usos além de estar no idioma nativo para uma adoção mais ampla. Apontando para diferentes problemas associados a soluções comerciais, o professor de informática da Universidade de Oslo, Erik Velldal, disse,

"Existem muitos problemas associados aos modelos de linguagem dos gigantes da tecnologia. Eles aparecem como caixas pretas para o mundo exterior. Precisamos de alternativas norueguesas."

Fonte: Erik Velldal.

Anteriormente, a Biblioteca Nacional da Noruega e a Universidade de Oslo trabalharam em uma série de modelos de linguagem noruegueses, mas os desenvolvidos agora são os maiores até o momento, com mais de 30 bilhões de palavras ou treinamento. 

O papel do Lumi é importante, pois é necessária muita capacidade de computação para treinar modelos de IA, incluindo muitas unidades de GPU. O processo de treinamento pode ser acelerado se o número de GPUs for aumentado, e o Lumi oferece uma boa oportunidade, pois tem mais de 10.000 GPUs incorporadas. 

O professor associado Andrey Kutuzov diz que, entre muitas outras razões para um modelo de linguagem norueguês, estava o fato de que os likes do ChatGPT não se adaptam bem ao conhecimento e valores da Noruega. Esses modelos são treinados principalmente em línguas americanas e inglês, portanto, definitivamente refletem a cultura e os valores americanos, e o que o povo norueguês precisava era algo de acordo com suas próprias preferências. Ele diz,

"Um modelo de linguagem norueguês refletirá, em muito maior extensão, a sociedade como a conhecemos na Noruega."

Fonte: Andrey Kutuzov.

Limitações dos grandes modelos de linguagem noruegueses

Os modelos noruegueses, essencialmente destinados a desenvolvedores e pesquisadores, já foram lançados e foram baixados por várias milhares de pessoas. Kutuzov explica que esses modelos não estão disponíveis online na web. Como a interface da web é considerada fácil de usar pelo público em geral. De acordo com o professor, esses modelos ainda estão longe dos modelos comerciais em termos das possibilidades que oferecem. Como estes são modelos base gerais,. 

É uma percepção no grupo de tecnologia de linguagem norueguês que eles devem ter seus próprios modelos para competir com o ChatGPT da OpenAI ou o LaMDA do Google. Junto com muitas outras observações que tiveram, como os modelos comerciais apenas lhes dão acesso por meio de sua interface web e o modelo por trás do sistema é fechado para acesso. Então, em muitos contextos, pode ser arriscado fornecer dados a um provedor de serviços de terceiros. Como dados médicos, onde a privacidade é a maior preocupação.

Os modelos de linguagem noruegueses são bastante limitados em comparação com o ChatGPT. Como são treinados apenas em 0,1% dos dados de treinamento feitos para o ChatGPT, mas esses modelos não são fechados e não restritos, então eles podem servir melhor aos pesquisadores.

Igualar as qualidades e padrões dos modelos de linguagem americanos ainda é uma tarefa difícil, e os modelos noruegueses precisam de mais desenvolvimento. Para ficarem no mesmo nível do ChatGPT ou do Bard, eles precisam de treinamento instrucional para que possam resolver problemas um pouco mais complexos. Diz-se que novas versões dos modelos serão lançadas, e o processo continuará.