Norwegen ist auf dem Weg, sein LLM-Spiel voranzubringen

Die Language Technology Group (LTG) der Universität Oslo hat drei große norwegische Sprachmodelle (LLMs) entwickelt. Dies wurde möglich, da die Forscher Zugang zu Europas leistungsstärkstem Computer, Lumi in Finnland, erhielten. Die LTG-Forscher trainierten ihre LLMs vor Weihnachten auf Lumi und verarbeiteten eine große Datenmenge, um drei verschiedene norwegische Sprachmodelle für ChatGPT zu testen. Der Zugang zu Lumi ist nicht einfach zu erhalten, da sich Forscher im Voraus bewerben und warten müssen. Der leistungsstarke Computer beschleunigt jedoch den Datentrainingsprozess erheblich.

Warum die Norweger ihr eigenes großes Sprachmodell (LLM) wollen

Die Norweger wollten ein eigenes Sprachmodell entwickeln, da es neben der Verwendung in der Muttersprache viele weitere Anwendungsmöglichkeiten für eine breitere Akzeptanz bot. Erik Velldal,matican der Universität Oslo, wies auf verschiedene Probleme im Zusammenhang mit kommerziellen Lösungen hin und sagte:

„Die Sprachmodelle der Tech-Giganten weisen viele Probleme auf. Für die Außenwelt sind sie wie Blackboxes. Wir brauchen norwegische Alternativen.“

Quelle: Erik Velldal.

Zuvor hatten die Nationalbibliothek Norwegens und die Universität Oslo an einer Handvoll norwegischer Sprachmodelle gearbeitet, aber die jetzt entwickelten sind mit mehr als 30 Milliarden Wörtern im Trainingsdatensatz die bisher größten. 

Lumis Rolle ist wichtig, da für das Training von KI-Modellen viel Rechenleistung, darunter zahlreiche GPUs, benötigt wird. Der Trainingsprozess lässt sich beschleunigen, wenn die Anzahl der GPUs erhöht wird, und Lumi bietet hierfür mit seinen über 10.000 integrierten GPUs eine gute Möglichkeit. 

Laut Associate Professor Andrey Kutuzov war einer der Gründe für ein norwegisches Sprachmodell, dass Modelle wie ChatGPT nicht gut auf das Wissen und die Werte Norwegens abgestimmt sind. Diese Modelle sind hauptsächlich auf amerikanische Sprachen und Englisch trainiert und spiegeln daher defiauch die amerikanische Kultur und Werte wider. Was die Norweger aber brauchten, war etwas, das ihren eigenen Vorlieben entspricht.

„Ein norwegisches Sprachmodell wird die Gesellschaft, wie wir sie in Norwegen kennen, viel besser widerspiegeln.“

Quelle: Andrey Kutuzov.

Einschränkungen norwegischer großer Sprachmodelle

Die norwegischen Modelle, die sich hauptsächlich an Entwickler und Forscher richten, wurden bereits veröffentlicht und von mehreren Tausend Nutzern heruntergeladen. Kutuzov erklärt, dass diese Modelle nicht online verfügbar sind, da die Weboberfläche als benutzerfreundlich für die breite Öffentlichkeit gilt. Laut dem Professor sind diese Modelle hinsichtlich ihrer Möglichkeiten noch weit von kommerziellen Modellen entfernt, da es sich um allgemeine Basismodelle handelt. 

In der norwegischen Sprachtechnologie-Gruppe herrscht die Auffassung vor, dass eigene Modelle benötigt werden, um mit OpenAIs ChatGPT oder Googles LaMDA konkurrieren zu können. Hinzu kommen weitere Beobachtungen, wie beispielsweise der Umstand, dass kommerzielle Modelle nur über ihre Weboberfläche zugänglich sind und das zugrundeliegende Modell nicht öffentlich zugänglich ist. Daher kann die Weitergabe von Daten an Drittanbieter in vielen Fällen riskant sein, insbesondere bei medizinischen Daten, wo der Datenschutz höchste Priorität hat.

Norwegische Sprachmodelle sind im Vergleich zu ChatGPT recht eingeschränkt, da sie nur mit 0,1 % der für ChatGPT verwendeten Trainingsdaten trainiert wurden. Da diese Modelle jedoch nicht geschlossen und nicht beschränkt sind, können sie Forschern besser dienen.

Die Qualitäten und Standards amerikanischer Sprachmodelle zu erreichen, ist nach wie vor eine Herausforderung, und norwegische Modelle bedürfen weiterer Entwicklung. Um mit ChatGPT oder Bard gleichzuziehen, benötigen sie didaktische Schulungen, damit sie komplexere Probleme lösen können. Es heißt, dass neue Versionen der Modelle veröffentlicht werden und der Prozess fortgesetzt wird.