- Norwegen hat kürzlich drei große Sprachmodelle entwickelt.
- Die Universität Oslo hat die Modelle für Forschungs- und Entwicklungszwecke erstellt.
- Lumi, Europas leistungsstärkster Supercomputer, wurde in Finnland zum Training der LLMs eingesetzt.
Die Language Technology Group (LTG) an der Universität Oslo hat drei norwegische Large-Language-Modelle (LLMs) vorbereitet. Dies wurde ermöglicht, da Forschern Zeit gegeben wurde, auf Europas leistungsstärksten Computer, Lumi, in Finnland, zuzugreifen. Forscher der LTG trainierten ihre Large-Language-Modelle (LLMs) vor Weihnachten auf Lumi und verarbeiteten einen ziemlich großen Datenblock, um drei verschiedene norwegische Sprachmodelle zu starten, die ChatGPT herausfordern sollen. Der Zugang zu Lumi ist nicht einfach zu erhalten, da Forscher sich im Voraus bewerben und dann auf ihre Reihe warten müssen, aber der leistungsstarke Computer beschleunigt den Prozess des Datentrainings.
Warum Norweger ihr eigenes Large-Language-Modell (LLM) wollen
Norweger wollten ihr eigenes Sprachmodell aufbauen, da es neben der Verwendung in der Muttersprache für eine breitere Akzeptanz viele Anwendungsmöglichkeiten gab. Erik Velldal, Informatikprofessor an der Universität Oslo, wies auf verschiedene Probleme hin, die mit kommerziellen Lösungen verbunden sind, und sagte,
„Es gibt viele Probleme, die mit den Sprachmodellen der Tech-Giganten verbunden sind. Sie erscheinen von der Außenwelt her als Black Boxes. Wir brauchen norwegische Alternativen.“
Quelle: Erik Velldal.
Zuvor arbeiteten die Nationalbibliothek Norwegens und die Universität Oslo an einer Handvoll norwegischer Sprachmodelle, aber die jetzt entwickelten sind die größten bisher, mit mehr als 30 Milliarden Wörtern oder Trainingseinheiten.
Lumis Rolle ist wichtig, da für das Training von KI-Modellen, einschließlich vieler GPU-Einheiten, viel Rechenleistung erforderlich ist. Der Trainingsprozess kann beschleunigt werden, wenn die Anzahl der GPUs erhöht wird, und Lumi bietet eine gute Gelegenheit, da es mehr als 10.000 integrierte GPUs aufweist.
Professor Andrey Kutuzov sagt, dass unter vielen anderen Gründen für ein norwegisches Sprachmodell auch der war, dass Modelle wie ChatGPT nicht gut an das Wissen und die Werte Norwegens angepasst werden. Diese Modelle werden hauptsächlich auf amerikanischen Sprachen und Englisch trainiert, daher spiegeln sie definitiv auch die amerikanische Kultur und die amerikanischen Werte wider, und was die norwegische Bevölkerung brauchte, war etwas, das ihren eigenen Präferenzen entspricht. Er sagt,
„Ein norwegisches Sprachmodell wird die Gesellschaft, wie wir sie in Norwegen kennen, in einem viel größeren Maße widerspiegeln.“
Quelle: Andrey Kutuzov.
Einschränkungen norwegischer Large-Language-Modelle
Die norwegischen Modelle, die im Wesentlichen für Entwickler und Forscher gedacht sind, wurden bereits veröffentlicht und von mehreren tausend Personen heruntergeladen. Kutuzov erklärt, dass diese Modelle nicht online im Web verfügbar sind. Da die Web-Oberfläche von der Allgemeinheit als einfach zu bedienen angesehen wird. Laut dem Professor sind diese Modelle in Bezug auf die gebotenen Möglichkeiten immer noch weit von kommerziellen Modellen entfernt. Da es sich um allgemeine Basismodelle handelt,.
Es ist die Überzeugung der norwegischen Sprachtech-Gruppe, dass sie ihre eigenen Modelle haben müssen, um mit OpenAIs ChatGPT oder Googles LaMDA konkurrieren zu können. Zusammen mit vielen anderen Beobachtungen, wie dass die kommerziellen Modelle den Nutzern nur über ihre Web-Oberfläche Zugang gewähren und das dahinterstehende Modell für den Zugriff geschlossen ist. So kann es in vielen Kontexten riskant sein, Daten an einen Drittanbieter-Dienstleister weiterzugeben. Wie bei medizinischen Daten, bei denen der Datenschutz das größte Anliegen ist.
Norwegische Sprachmodelle sind im Vergleich zu ChatGPT recht begrenzt. Da sie nur mit 0,1 % der Daten trainiert wurden, die für ChatGPT verwendet wurden, sind diese Modelle jedoch nicht geschlossen und nicht eingeschränkt, sodass sie Forscher besser bedienen können.
Die Qualität und die Standards amerikanischer Sprachmodelle zu erreichen, ist immer noch eine schwierige Aufgabe, und norwegische Modelle benötigen weitere Entwicklungen. Um mit ChatGPT oder Bard Schritt zu halten, benötigen sie eine instruktive Ausbildung, um etwas komplexere Probleme lösen zu können. Es wird gesagt, dass neue Versionen der Modelle veröffentlicht werden und der Prozess weitergehen wird.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Aamir Sheikh
Aamir ist Tech-Journalist mit fast sechs Jahren Erfahrung in der Krypto- und Technologiebranche. Er absolvierte sein Studium an der MAJ University mit einem MBA in Finanzen und Marketing. Heute arbeitet er für Cryptopolitan, wo er über die neuesten Entwicklungen in den Kryptowährungsmärkten und Preisprognosen berichtet.
