挪威正致力于提升其大型语言模型（LLM）游戏水平

奥斯陆大学语言技术小组（LTG）准备了三个挪威大型语言模型（LLM）。这成为可能，是因为研究人员获得了访问位于芬兰的欧洲最强大计算机Lumi的时间。LTG的研究人员在圣诞节之前在Lumi上训练了他们的大型语言模型（LLM），并处理了大量数据，以推出三种不同的挪威语言模型来挑战ChatGPT。获得Lumi的访问权限并不容易，研究人员必须提前申请并等待轮候，但这台强大的计算机确实加快了数据训练的速度。

为什么挪威人想要拥有自己的大型语言模型（LLM）

挪威人希望建立自己的语言模型，因为除了使用母语以实现更广泛的采用外，还有许多其他用途。奥斯陆大学信息学教授埃里克·维尔达尔指出了与商业解决方案相关的不同问题，他说，

“与科技巨头语言模型相关的问题很多。它们对外界来说就像黑盒子。我们需要挪威的替代方案。”

来源：埃里克·维尔达尔。

此前，挪威国家图书馆和奥斯陆大学曾致力于开发少数几个挪威语言模型，但目前开发的模型是迄今为止最大的，拥有超过300亿单词的训练量。 

Lumi的作用非常重要，因为训练AI模型需要大量的计算能力，包括许多GPU单元。如果增加GPU的数量，训练过程可以加快，而Lumi提供了良好的机会，因为它集成了超过10,000个GPU。 

安德烈·库图佐夫副教授表示，挪威语言模型存在的众多原因之一是，像ChatGPT这样的模型不能很好地适应挪威的知识和价值观。这些模型主要使用美国语言和英语进行训练，因此肯定也反映了美国文化和价值观，而挪威人需要的是符合他们自己偏好的东西。他说，

“挪威语言模型将在很大程度上反映我们所知的挪威社会。”

来源： 安德烈·库图佐夫.

挪威大型语言模型的局限性

挪威模型本质上是为开发人员和研究人员设计的，已经发布并被数千人下载。库图佐夫解释说，这些模型并未在互联网上公开提供。因为网络界面被认为对普通大众来说易于使用。据该教授称，就它们提供的可能性而言，这些模型与商业模型仍有很大差距。因为这些是通用基础模型，。 

挪威语言技术小组认为，他们必须拥有自己的模型，才能与OpenAI的ChatGPT或Google的LaMDA竞争。除了许多其他观察结果外，比如商业模型仅通过其网络界面提供访问，且系统背后的模型对访问是封闭的。因此在许多情况下，向第三方服务提供商提供数据可能是有风险的。例如医疗数据，隐私是最大的担忧。

与ChatGPT相比，挪威语言模型相当有限。因为它们仅使用了为ChatGPT进行的数据训练的0.1%，但这些模型不是封闭的，也不受限制，因此能更好地服务于研究人员。

与美国语言模型的质量和标准相匹配仍然是一项艰巨的任务，挪威模型需要进一步发展。为了与ChatGPT或Bard持平，它们需要指令性训练，以便能够解决稍微复杂的问题。据说新版本的模型将会推出，并且这一过程将持续进行。