Meta a finalement confirmé la sortie de Llama 3. Lors d'un événement à Londres, Meta a fourni des détails et le calendrier de sortie de son modèle d'IA avancé. Selon TechCrunch, les dirigeants de Meta ont indiqué qu'ils publieraient prochainement la prochaine version de leur modèle de langage open source de grande envergure.
Selon The Information, Meta devrait d'abord publier une version allégée de Llama 3, avant de proposer un modèle open source complet. Mais pourquoi une version allégée dès le départ ? L'hypothèse de The Information nous semble plausible : elle permettra de susciter l'intérêt pour les fonctionnalités du modèle complet.
Ce que nous savons de Llama 3 et de sa sortie
La sortie de Llama 3 va remettre en question la domination du géant GPT 4, car il devrait être le LLM le plus avancé de la catégorie open source et sera disponible en différents modèles comme Llama 2. Nick Clegg,dent des affaires mondiales de Meta, a déclaré lors de l'événement :
« D’ici un mois, voire moins, et nous espérons très prochainement, nous prévoyons de commencer le déploiement de notre nouvelle gamme de modèles de fondation de nouvelle génération, Llama 3. »
La déclaration de Clegg laisse clairement entendre qu'il existe différentes versions de Llama 3, puisqu'il a ajouté par ailleurs :
« Plusieurs modèles différents, dotés de capacités et de polyvalences variées, seront commercialisés au cours de cette année, et ce très prochainement. »
Source : Techcrunch
Parlons des affirmations de The Information ; elles semblent crédibles, non ? On sait donc pour l’instant que Llama 3 sera disponible en différentes versions et tailles, des plus petites aux plus grandes, avec des modèles performants allant de Haiku, Claude et Gemini Nano aux mastodontes comme GPT 4. On n’en sait pas plus, mais on sait avec certitude qu’il sera open source, comme Llama 2 et Multimodel, et qu’il pourra comprendre aussi bien les textes que les images.
Des critiques comparent les modèles open source aux modèles propriétaires
Llama est un modèle open source, mais son avenir est bien réel. Nous savons qu'il bénéficie d'un soutientronde la part de Meta, qui dispose de ressources considérables et souhaite tirer parti des développeurs et chercheurs tiers. Cependant, malgré la popularité des modèles open source, certains critiques restent sceptiques quant à leurs performances par rapport à des modèles propriétaires comme GPT-4. Leurs arguments sont motivés par des raisons qui leur sont propres.
L'argument porte d'abord sur les ressources nécessaires à la constitution d'immenses ensembles de données pour l'entraînement des modèles. On affirme que des modèles comme ChatGPT disposent de structures de données gigantesques, annotées par des humains. Bien sûr, aucune machine ne peut encore égaler les capacités humaines, mais nous en rapprochons-nous ? Peut-être, peut-être pas, au cours des deux prochaines années. Un autre argument est la disponibilité. Bien que ce soit un point valable, l'histoire de la tech nous a montré que de petites startups peuvent parfois surpasser de grandes entreprises sur certains points clés grâce à leurs solutions prêtes à l'emploi. Mais la réalité est qu'OpenAI emploie des ingénieurs dont les salaires dépassent le million de dollars.
Un autre argument avancé concerne l'organisation du travail en équipe : une approche décentralisée et open source ne peut rivaliser avec les performances des équipes centralisées. De plus, l'infrastructure du cloud public est loin d'égaler celle d'OpenAI et de Google, ce qui freine les équipes open source dans leurs progrès. Au final, ce sont là des arguments suffisants contre les systèmes open source. Or, comme nous le savons, malgré son statut open source, Llama bénéficie du soutien de Meta, qui lui alloue des ressources considérables.
Meta investit dans les GPU
En janvier dernier, Mark Zuckerberg a annoncé la construction d'une infrastructure de calcul massive, comprenant 350 000 nouveaux GPU H100. En incluant les autres GPU, ce nombre atteindra près de 600 000 H100. Cette information a été communiquée dans une vidéo. Cette puissance de calcul sera bien supérieure à celle utilisée par OpenAI pour entraîner GPT-4. L'investissement se chiffre en milliards de dollars pour l'intelligence artificielle uniquement.
Llama 3 alimentera l' assistant Meta AI et sera également intégré à une gamme de produits au sein de l'ensemble des applications de l'entreprise. Llama 3 parviendra-t-il à détrôner GPT-4 ? trac des systèmes de modélisation 3D open source les plus avancés, tels que Mistral (France) et quelques autres, développés à partir de ses modifications et optimisations.
Certains d'entre eux ont même surpassé GPT 3.5 en termes de performances, nous pouvons donc supposer que Llama 3, avec ses capacités avancées, sera utilisé pour de nouveaux produits LLM qui égaleront ou dépasseront les performances de GPT 4 avec des coûts de formation partagés et réduits, permettant ainsi à un plus grand nombre de personnes d'y participer.
La concurrence s'annonce féroce, la communauté open source cherchant à innover par rapport à LLama 3 et à développer des solutions propriétaires comme par le passé, tandis qu'OpenAI lancera GPT 5 dans les prochains mois. Nous sommes impatients de découvrir ce qui nous attend.
