Norway는 LLM 게임에서 앞서가기 위한 길을 가고 있습니다

Oslo University의 Language Technology Group (LTG)은 세 가지 Norwegian 대형 언어 모델 (LLM)을 준비했습니다. 이는 연구자들이 Finland에 위치한 Europe에서 가장 강력한 컴퓨터 Lumi에 접근할 시간을 얻었기 때문에 가능했습니다. LTG의 연구자들은 크리스마스 전에 Lumi에서 대형 언어 모델 (LLM)을 훈련했으며, ChatGPT에 도전하기 위해 세 가지 다른 Norwegian 언어 모델을 출시하기 위해 상당한 양의 데이터를 처리했습니다. Lumi에 접근하는 것은 쉽지 않습니다. 연구자들은 사전에 신청하고 차례를 기다려야 하지만, 강력한 컴퓨터는 데이터 훈련 과정을 가속화합니다.

왜 Norwegians는 자신들의 대형 언어 모델 (LLM)을 원하는가

Norwegian은 더 넓은 채택 가능성을 위해 모국어 외에도 많은 용도가 있기 때문에 자신들의 언어 모델을 구축하기를 원했습니다. 상업적 솔루션과 관련된 다양한 문제를 지적하며, Oslo University의 정보학 교수인 Erik Velldal은 말했습니다.

“기술 거대 기업의 언어 모델과 관련된 많은 문제가 있습니다. 그들은 외부 세계에게 블랙 박스처럼 보입니다. 우리는 Norwegian 대안이 필요합니다.”

출처: Erik Velldal.

이전에, National Library of Norway와 Oslo University는 소수의 Norwegian 언어 모델에 작업했지만, 현재 개발된 것들은 지금까지 가장 크며, 300억 단어 이상의 훈련을 포함합니다. 

Lumi의 역할은 중요하며, 많은 GPU 유닛을 포함하여 AI 모델 훈련에는 많은 컴퓨팅 파워가 필요합니다. GPU의 수를 늘리면 훈련 과정을 가속화할 수 있으며, Lumi는 10,000개 이상의 GPU가 통합되어 있어 좋은 기회를 제공합니다. 

Norwegian 언어 모델의 많은 다른 이유 중 하나로, Andrey Kutuzov 부교수는 ChatGPT와 같은 것들이 지식과 가치에 잘 적응하지 못한다고 말합니다. 이러한 모델은 주로 미국 언어와 영어로 훈련되므로, 확실히 미국 문화와 가치를 반영하며, Norwegians가 필요로 한 것은 그들의 선호도에 따른 것이었습니다. 그는 말합니다.

“Norwegian 언어 모델은 우리가 알고 있는 Norway의 사회를 훨씬 더 많이 반영할 것입니다.”

출처: Andrey Kutuzov.

Norwegian 대형 언어 모델의 한계

Norwegian 모델은 본질적으로 개발자와 연구자를 위해 의도되었으며, 이미 출시되었으며 수천 명이 다운로드했습니다. Kutuzov는 이러한 모델이 웹에서 온라인으로 사용할 수 없다고 설명합니다. 웹 인터페이스는 일반 대중이 사용하기 쉬운 것으로 간주됩니다. 교수에 따르면, 이러한 모델은 그들이 제공하는 가능성 측면에서 상업적 모델과 아직 멀리 떨어져 있습니다. 이러한 것은 일반 기본 모델입니다,. 

Norwegian 언어 기술 그룹은 OpenAI의 ChatGPT나 Google의 LaMDA와 경쟁하기 위해 자신들의 모델이 있어야 한다는 인식을 가지고 있습니다. 그들이 가진 많은 다른 관찰 사항들과 함께, 상업적 모델은 웹 인터페이스를 통해서만 접근을 제공하고 시스템 뒤의 모델은 접근이 닫혀 있습니다. 따라서 많은 맥락에서 제3자 서비스 제공자에게 데이터를 제공하는 것은 위험할 수 있습니다. 예를 들어, 사생활이 가장 큰 우려 사항인 의료 데이터와 같습니다.

Norwegian 언어 모델은 ChatGPT에 비해 상당히 제한적입니다. ChatGPT에 대한 데이터 훈련의 0.1%만으로 훈련되었지만, 이러한 모델은 닫혀 있지 않고 제한되지 않으므로 연구자에게 더 잘 봉사할 수 있습니다.

American 언어 모델의 품질과 표준을 맞추는 것은 여전히 어려운 과제이며, Norwegian 모델은 추가 개발이 필요합니다. ChatGPT나 Bard와 동등해지기 위해서는, 그들은 조금 더 복잡한 문제를 해결할 수 있도록 지침 훈련이 필요합니다. 새 버전의 모델이 출시될 것이라고 하며, 이 과정은 계속될 것입니다.