ノルウェーはLLMゲームの発展の道を歩んでいる

オスロ大学の言語技術グループ（LTG）は、ノルウェー語の大規模言語モデル（LLM）を3つ作成しました。これは、研究者がフィンランドにあるヨーロッパ最強のコンピュータLumiにアクセスする時間を与えられたことで実現しました。LTGの研究者たちは、クリスマス前にLumiで大規模言語モデル（LLM）を学習させ、膨大な量のデータを処理して、ChatGPTに対抗する3つの異なるノルウェー語言語モデルを開発しました。Lumiへのアクセスは、研究者が事前に申請し、順番を待たなければならないため容易ではありませんが、この強力なコンピュータはデータ学習プロセスを加速させます。.

ノルウェー人が独自の大規模言語モデル（LLM）を望む理由

ノルウェー語は、母国語であること以外にも、より幅広い普及のために多くの用途があるため、独自の言語モデルを構築したいと考えていました。オスロ大学のmatic科学教授、エリック・ヴェルダル氏は、商用ソリューションに伴う様々な問題を指摘し、次のように述べています。

「巨大テック企業の言語モデルには多くの問題があります。外の世界からはブラックボックスのように見えます。ノルウェーの代替案が必要です。」

出典: Erik Velldal。.

これまで、ノルウェー国立図書館とオスロ大学は少数のノルウェー語言語モデルに取り組んできたが、現在開発されているモデルは300億語以上のトレーニングを擁するこれまでで最大のものとなっている。. 

AIモデルの学習には多くのGPUユニットを含む膨大な計算能力が必要となるため、Lumiの役割は重要です。GPUの数を増やすことで学習プロセスを高速化できますが、1万個以上のGPUを搭載するLumiは、その点で大きな可能性を秘めています。. 

アンドレイ・クツゾフ准教授は、ノルウェー語モデルを開発した多くの理由の中でも、ChatGPTのようなモデルは 知識や価値観 。これらのモデルは主にアメリカ英語などのアメリカ言語で学習されているため、 defiの文化や価値観も反映しており、ノルウェーの人々が求めていたのは自分たちの好みに合ったものだった、と彼は述べている。

「ノルウェーの言語モデルは、私たちが知っているノルウェーの社会をより正確に反映するでしょう。」

出典: Andrey Kutuzov.

ノルウェー語の大規模言語モデルの限界

ノルウェーのモデルは、主に開発者や研究者向けに開発されており、既に公開され、数千人がダウンロードしています。クトゥーゾフ教授は、これらのモデルはウェブ上では公開されていないと説明しています。ウェブインターフェースは一般ユーザーにとって使いやすいと考えられているためです。同教授によると、これらのモデルは、提供できる可能性の点で商用モデルにはまだ遠く及ばないとのこと。これらは汎用的な基本モデルであるためです。. 

ノルウェーの言語技術グループでは、OpenAIのChatGPTやGoogleのLaMDAに対抗するには独自のモデルが必要だという認識があります。彼らが指摘した他の多くの点に加え、商用モデルはWebインターフェース経由でしかアクセスできず、システムの背後にあるモデルは非公開であることが挙げられます。そのため、多くの状況において、サードパーティのサービスプロバイダーにデータを渡すことはリスクを伴う可能性があります。例えば、プライバシーが最大の懸念事項となる医療データなどが挙げられます。.

ノルウェー語の言語モデルは、ChatGPTと比較するとかなり限定的です。ChatGPTで学習されたデータのわずか0.1%しか使用されていないためですが、これらのモデルは閉鎖的ではなく、制限もないため、研究者にとってより有用なものとなります。.

アメリカの言語モデルの品質と基準に匹敵することは依然として困難な課題であり、 ノルウェーのモデルは さらなる開発が必要です。ChatGPTやBardと同等のレベルに達するには、より複雑な問題を解けるよう、教育訓練が必要です。今後、モデルの新バージョンがリリースされ、このプロセスは継続されると言われています。