노르웨이는 법학 석사(LLM) 프로그램 발전을 향해 나아가고 있습니다

오슬로 대학교 언어 기술 그룹(LTG)은 세 가지 노르웨이어 대규모 언어 모델(LLM)을 개발했습니다. 이는 연구원들이 핀란드에 위치한 유럽에서 가장 강력한 컴퓨터인 루미(Lumi)를 이용할 수 있게 되면서 가능해졌습니다. LTG 연구원들은 크리스마스 전에 루미에서 대규모 언어 모델(LLM)을 학습시키고 상당한 양의 데이터를 처리하여 ChatGPT에 도전할 세 가지 서로 다른 노르웨이어 모델을 출시했습니다. 루미에 접근하려면 사전에 신청하고 차례를 기다려야 하므로 쉽지 않지만, 이 강력한 컴퓨터 덕분에 데이터 학습 속도가 크게 향상되었습니다.

노르웨이인들이 자체적인 대규모 언어 모델(LLM)을 원하는 이유는 무엇일까요?

노르웨이는 모국어 외에도 더 폭넓은 적용 가능성을 위해 다양한 용도로 활용할 수 있는 자체 언어 모델을 구축하고자 했습니다. 오슬로 대학교matic교수인 에릭 벨달은 상용 솔루션과 관련된 여러 문제점을 지적하며 다음과 같이 말했습니다

"기술 대기업들의 언어 모델에는 여러 가지 문제가 있습니다. 외부에서는 그것들이 블랙박스처럼 보입니다. 우리는 노르웨이식 대안이 필요합니다."

출처: 에릭 벨달.

이전에 노르웨이 국립도서관과 오슬로 대학교는 몇 가지 노르웨이어 언어 모델을 개발했지만, 이번에 개발된 모델은 300억 단어 이상의 학습 데이터를 포함하는 역대 최대 규모입니다. 

Lumi의 역할은 AI 모델 학습에 많은 컴퓨팅 파워, 특히 다수의 GPU 유닛이 필요하기 때문에 매우 중요합니다. GPU 개수를 늘리면 학습 속도를 높일 수 있는데, Lumi는 10,000개 이상의 GPU를 탑재하고 있어 이러한 요구를 충족할 수 있는 좋은 기회를 제공합니다. 

안드레이 쿠투조프 부교수는 노르웨이어 모델 개발의 여러 이유 중 하나로 ChatGPT와 같은 모델들이 지식과 가치관 노르웨이의 defi있는데, 노르웨이 사람들에게 필요한 것은 그들의 선호도에 맞는 모델이었다는 것입니다.

"노르웨이어 모델은 노르웨이 사회의 모습을 훨씬 더 잘 반영할 것입니다."

출처: 안드레이 쿠투조프.

노르웨이어 대규모 언어 모델의 한계

주로 개발자와 연구자를 대상으로 개발된 노르웨이 모델들은 이미 출시되어 수천 명이 다운로드했습니다. 쿠투조프 교수는 이러한 모델들이 웹상에서 공개적으로 제공되지 않는다고 설명합니다. 일반 대중이 사용하기 쉬운 웹 인터페이스를 개발했기 때문입니다. 교수에 따르면, 이러한 모델들은 제공하는 기능 면에서 상용 모델과는 아직 거리가 멀다고 합니다. 범용 기본 모델이기 때문입니다. 

노르웨이 언어 기술 그룹에서는 OpenAI의 ChatGPT나 Google의 LaMDA와 경쟁하려면 자체 모델이 필수적이라는 인식이 있습니다. 상용 모델들은 웹 인터페이스를 통해서만 접근이 가능하고, 시스템의 기반이 되는 모델 자체는 접근이 제한되어 있다는 점 등 여러 가지 문제점을 지적했습니다. 따라서 많은 경우, 특히 개인정보 보호가 가장 중요한 의료 데이터와 같은 상황에서는 제3자 서비스 제공업체에 데이터를 제공하는 것이 위험할 수 있습니다.

노르웨이어 모델은 ChatGPT에 비해 상당히 제한적입니다. ChatGPT 학습에 사용된 데이터의 0.1%만으로 학습되었기 때문입니다. 하지만 이러한 모델은 폐쇄적이지 않고 제한이 없으므로 연구자들에게 더 나은 서비스를 제공할 수 있습니다.

미국식 언어 학습 모델의 품질과 기준에 필적하는 것은 여전히 ​​어려운 과제이며, 노르웨이 모델은 추가적인 개발이 필요합니다. ChatGPT나 Bard와 같은 수준에 도달하려면 좀 더 복잡한 문제를 해결할 수 있도록 교육 훈련이 필요합니다. 새로운 버전의 모델이 출시될 예정이며, 이러한 개발 과정은 계속될 것입니다.