挪威正在推进其法学硕士（LLM）课程的开发。

奥斯陆大学语言技术小组 (LTG) 已成功构建了三个挪威语大型语言模型 (LLM)。这得益于研究人员获得了使用位于芬兰的欧洲最强大的计算机 Lumi 的机会。LTG 的研究人员在圣诞节前利用 Lumi 对大型语言模型 (LLM) 进行了训练，并处理了大量数据，最终生成了三个不同的挪威语语言模型，以挑战 ChatGPT。使用 Lumi 并非易事，研究人员必须提前申请并等待轮值，但这台强大的计算机确实能够显著加快数据训练过程。.

为什么挪威人想要拥有自己的大型语言模型（LLM）

挪威希望构建自己的语言模型，因为除了使用母语之外，它还有许多其他用途，例如提高语言的普及性。奥斯陆大学matic学教授埃里克·韦尔达尔指出，商业解决方案存在一些不同的问题，他表示：

“科技巨头的语言模型存在诸多问题。对外界而言，它们就像黑匣子一样。我们需要挪威式的替代方案。”

来源：Erik Velldal。.

此前，挪威国家图书馆和奥斯陆大学曾开发过一些挪威语语言模型，但现在开发的这些模型是迄今为止规模最大的，训练数据超过 300 亿个单词。. 

Lumi 的作用至关重要，因为训练 AI 模型需要大量的计算能力，包括大量的 GPU 单元。增加 GPU 的数量可以加快训练速度，而 Lumi 集成了超过 10,000 个 GPU，因此提供了一个很好的机会。. 

副教授安德烈·库图佐夫表示，选择挪威语模型的原因有很多，其中之一是像ChatGPT这样的模型无法很好地适应 知识和价值观 。这些模型主要基于美式语言和英语进行训练，因此 defi也反映了美国的文化和价值观，而挪威人需要的是根据他们自身偏好而设计的模型。他说：

“挪威语模式将在很大程度上反映出我们所知的挪威社会。”

来源： 安德烈·库图佐夫。

挪威大型语言模型的局限性

这些挪威模型主要面向开发者和研究人员，目前已经发布，并已被数千人下载。库图佐夫解释说，这些模型并未在网上公开，因为其网页界面对普通用户来说过于复杂难用。这位教授表示，就其提供的功能而言，这些模型与商业模型相比仍有很大的差距，因为它们只是通用基础模型。. 

挪威语言技术团队普遍认为，他们必须拥有自己的模型才能与 OpenAI 的 ChatGPT 或 Google 的 LaMDA 竞争。他们还观察到许多其他问题，例如，商业模型仅通过其网页界面提供访问权限，而系统背后的模型本身是封闭的。因此，在很多情况下，将数据提供给第三方服务提供商可能存在风险，例如医疗数据，因为隐私是其中最重要的考量因素。.

与 ChatGPT 相比，挪威语模型的功能相当有限。它们仅使用 ChatGPT 训练数据的 0.1% 进行训练，但这些模型并非封闭且不受限制，因此可以更好地服务于研究人员。.

要达到美国语言模型的质量和标准仍然是一项艰巨的任务， 挪威语言模型 还需要进一步发展。为了与 ChatGPT 或 Bard 等模型相媲美，它们需要进行教学训练，以便能够解决更复杂的问题。据说，这些模型的新版本将会推出，这一过程还将继续。