- La Norvège a récemment développé trois grands modèles de langage.
- L'Université d'Oslo a conçu ces modèles à des fins de recherche et développement.
- Lumi, l'ordinateur le plus puissant d'Europe, a servi à entraîner les LLM en Finlande.
Le groupe de technologie linguistique (LTG) de l'Université d'Oslo a préparé trois grands modèles de langue (LLM) norvégiens. Cela est devenu possible car les chercheurs ont eu le temps d'accéder à l'ordinateur le plus puissant d'Europe, Lumi, situé en Finlande. Les chercheurs du LTG ont entraîné leurs grands modèles de langue (LLM) sur Lumi avant Noël et ont traité une assez grande partie des données pour lancer trois différents modèles de langue norvégiens pour défier ChatGPT. L'accès à Lumi n'est pas facile à obtenir, car les chercheurs doivent postuler à l'avance et ensuite attendre leur tour, mais l'ordinateur puissant accélère le processus d'entraînement des données.
Pourquoi les Norvégiens veulent leur propre grand modèle de langue (LLM)
Les Norvégiens voulaient construire leur propre modèle de langue, car il y avait de nombreuses utilisations au-delà d'être dans la langue native pour une adoptabilité plus large. Pointant du doigt différents problèmes associés aux solutions commerciales, le professeur d'informatique de l'Université d'Oslo, Erik Velldal, a déclaré :
« Il y a de nombreux problèmes associés aux modèles de langue des géants de la technologie. Ils apparaissent comme des boîtes noires pour le monde extérieur. Nous avons besoin d'alternatives norvégiennes. »
Source : Erik Velldal.
Plus tôt, la Bibliothèque nationale de Norvège et l'Université d'Oslo ont travaillé sur une poignée de modèles de langue norvégiens, mais ceux développés maintenant sont les plus grands jusqu'à présent, avec plus de 30 milliards de mots ou d'entraînement.
Le rôle de Lumi est important car une grande puissance de calcul est requise pour l'entraînement des modèles IA, y compris de nombreuses unités GPU. Le processus d'entraînement peut être accéléré si le nombre de GPU est augmenté, et Lumi offre une bonne opportunité car il intègre plus de 10 000 GPU.
Le professeur associé Andrey Kutuzov déclare que parmi de nombreuses autres raisons pour un modèle de langue norvégien, il y a le fait que des outils comme ChatGPT ne s'adaptent pas bien à la connaissance et aux valeurs de la Norvège. Ces modèles sont entraînés sur des langues américaines et principalement l'anglais, donc ils reflètent certainement la culture et les valeurs américaines, et ce dont les Norvégiens avaient besoin était quelque chose selon leurs propres préférences. Il dit :
« Un modèle de langue norvégien reflétera dans une bien plus grande mesure la société telle que nous la connaissons en Norvège. »
Source : Andrey Kutuzov.
Limitations des grands modèles de langue norvégiens
Les modèles norvégiens, essentiellement destinés aux développeurs et aux chercheurs, ont déjà été lancés et ont été téléchargés par plusieurs milliers de personnes. Kutuzov explique que ces modèles ne sont pas disponibles en ligne sur le web. Comme l'interface web est considérée comme facile à utiliser par le grand public. Selon le professeur, ces modèles sont encore loin des modèles commerciaux en termes de possibilités qu'ils offrent. Comme ce sont des modèles de base généraux,.
C'est une perception dans le groupe technologique de langue norvégien qu'ils doivent avoir leurs propres modèles pour concurrencer ChatGPT d'OpenAI ou LaMDA de Google. Avec de nombreuses autres observations qu'ils avaient, comme le fait que les modèles commerciaux ne leur donnent accès qu'à travers leur interface web et que le modèle derrière le système est fermé à l'accès. Donc, dans de nombreux contextes, il peut être risqué de donner des données à un fournisseur de services tiers. Comme les données médicales, où la confidentialité est la plus grande préoccupation.
Les modèles de langue norvégiens sont assez limités par rapport à ChatGPT. Comme ils sont entraînés sur seulement 0,1 % des données d'entraînement faites pour ChatGPT, mais ces modèles ne sont pas fermés et non restreints, donc ils peuvent mieux servir les chercheurs.
Correspondre aux qualités et aux normes des modèles de langue américains reste une tâche difficile, et les modèles norvégiens ont besoin d'un développement supplémentaire. Pour être au niveau de ChatGPT ou Bard, ils ont besoin d'une formation instructive afin de pouvoir résoudre des problèmes un peu plus complexes. On dit que de nouvelles versions des modèles seront lancées, et le processus continuera.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
