ノルウェーはLLMゲームを前進させる道にあります

オスロ大学の言語技術グループ（LTG）は、3つのノルウェー語大規模言語モデル（LLM）を準備しました。これは、研究者がフィンランドに位置するヨーロッパで最も強力なコンピュータ、Lumiにアクセスする時間を得られたことで可能になりました。LTGの研究者は、クリスマス前にLumi上で大規模言語モデル（LLM）を訓練し、かなり大きなデータの塊を処理して、ChatGPTに挑戦する3つの異なるノルウェー語モデルをリリースしました。Lumiへのアクセスは容易ではなく、研究者は事前に申請し、順番を待つ必要がありますが、強力なコンピュータはデータ訓練のプロセスを加速します。

なぜノルウェー人は自分自身の大規模言語モデル（LLM）を望むのか

ノルウェー人は、母国語での使用以外にも広範な採用可能性のために、自分自身の言語モデルを構築したかったのです。商業的解決策に関連するさまざまな問題に言及し、オスロ大学の情報学教授、Erik Velldalは次のように述べています。

「テクノロジー大手の言語モデルには多くの問題が伴います。それらは外部の世界に対してブラックボックスとして現れます。私たちはノルウェー語の代替手段を必要としています。」

出典：Erik Velldal。

以前、ノルウェー国立図書館とオスロ大学は、 handful のノルウェー語モデルに取り組んでいましたが、現在開発されているものはこれまでで最大のもので、300億語以上の訓練データを持っています。 

Lumiの役割は重要であり、AIモデルの訓練には多くの計算力、特に多くのGPUユニットが必要です。GPUの数を増やすことで訓練プロセスを加速でき、Lumiは10,000以上のGPUを組み込んでいるため、良い機会を提供します。 

准教授Andrey Kutuzov氏は、ノルウェー語モデルの多くの理由の一つとして、ChatGPTのようなものが 知識 とノルウェーの価値観にうまく適応しないことを挙げました。これらのモデルは主にアメリカの言語と英語で訓練されているため、間違いなくアメリカの文化と価値観も反映しており、ノルウェーの人々が必要としたのは彼ら自身の好みに沿った何かでした。彼は言います。

「ノルウェー語モデルは、私たちがノルウェーで知る社会をより大きな程度で反映するでしょう。」

ソース: Andrey Kutuzov.

ノルウェー語大規模言語モデルの制限

本質的に開発者や研究者を対象としたノルウェー語モデルは、すでにリリースされ、数千人によってダウンロードされています。Kutuzov氏は、これらのモデルはウェブ上でオンラインで利用できないと説明します。ウェブインターフェースは一般大衆にとって使いやすいと考えられているためです。教授によると、これらのモデルは提供される可能性の点で商業モデルからまだ遠く離れています。これらは一般的なベースモデルであるためです。 

ノルウェー語の技術グループ内では、OpenAIのChatGPTやGoogleのLaMDAと競争するためには独自のモデルを持つ必要があるという認識があります。彼らが持っていた他の多くの観察事項とともに、商業モデルはウェブインターフェースを通じてのみアクセスを提供し、システム背後のモデルはアクセスに対してクローズドであるという点です。したがって、多くの文脈では、第三者サービスプロバイダーにデータを提供することはリスクを伴います。例えば、プライバシーが最大の懸念事項である医療データなど。

ノルウェー語モデルはChatGPTと比較してかなり制限されています。ChatGPTの訓練データの0.1%のみで訓練されているためですが、これらのモデルはクローズドではなく制限されていないため、研究者により良く奉仕することができます。

アメリカの言語モデルの品質と基準に適合することは依然として困難な課題であり、 ノルウェー語モデル はさらなる開発が必要です。ChatGPTやBardと並ぶためには、より複雑な問題を解決できるようにするための指示付きトレーニングが必要です。モデルの新しいバージョンがリリースされ、プロセスは継続するとされています。