Le nouveau venu Mixtral 8x7B défie les meilleurs modèles d'IA avec des performances impressionnantes

Dans le paysage en évolution rapide de l'intelligence artificielle, un joueur relativement nouveau est apparu sur la scène, causant un tollé dans le monde technologique. Mixtral 8x7B, développé par l'entreprise française d'intelligence artificielle Mistral AI, attire l'attention avec son approche unique et ses capacités impressionnantes. Cet article explore ce qui rend Mixtral 8x7B unique et pourquoi il suscite un tel buzz dans la communauté de l'IA.

Mixtral 8x7B : Un changement de jeu

Tandis que le monde technologique était captivé par la mise à jour de Gemini de Google pour Bard, Mixtral 8x7B est entré discrètement dans l'arène. Ce qui le distingue, c'est son utilisation d'un Mélange d'Experts (MoE) pour générer des réponses semblables à celles des humains. Cette approche diffère considérablement des modèles comme ChatGPT et Google Bard. Notamment, Mixtral 8x7B possède un modèle impressionnant de 46,7 milliards de paramètres, tout en ne nécessitant qu'une fraction des ressources matérielles.

Les performances de Mixtral 8x7B ne sont pas à sous-estimer. Il correspond avec confiance, voire surpasse, le modèle GPT-3.5 de ChatGPT et le modèle Llama 2 70B de Meta. Ce modèle open-source est sous licence Apache 2.0, permettant à quiconque d'y accéder et de l'utiliser. Il n'est pas confiné à une seule langue, car il peut fonctionner de manière transparente en anglais, français, italien, allemand et espagnol. De plus, il possède la capacité de générer du code.

Rencontrez Mistral AI – Le cerveau derrière la révolution de l'IA

Mistral AI, le cerveau derrière Mixtral, est une entreprise d'IA française fondée par des chercheurs ayant précédemment travaillé chez Meta et Google. Cette année, Mistral AI a fait sensation en levant environ 450 millions d'euros de financement. La sortie de Mixtral 8x7B, leur dernier modèle, était loin d'être traditionnelle, avec un lien magnétique Torrent discret partagé sur Twitter.

L'avantage du MoE

Mixtral utilise une architecture MoE pour traiter les jetons entrants, les distribuant à divers experts au sein du système. Chaque expert est essentiellement un réseau de neurones, et Mixtral 8x7B en possède huit. Cette architecture permet des MoE hiérarchiques, où un expert peut lui-même être un autre MoE. Lorsqu'une invite est soumise à Mixtral 8x7B, un réseau de routage sélectionne l'expert le plus efficace pour traiter chaque jeton. Fait intéressant, deux experts sont choisis par jeton, et leurs sorties sont combinées.

Les MoE ont leurs forces et leurs faiblesses. Ils excellent en termes d'efficacité de calcul pendant la pré-entraînement, mais peuvent être victimes de surapprentissage pendant le réglage fin. Le surapprentissage, dans ce contexte, fait référence aux modèles qui s'appuient trop fortement sur leurs données d'entraînement et les reproduisent mot pour mot dans leurs réponses. Du côté positif, les MoE offrent des temps d'inférence plus rapides car seul un sous-ensemble d'experts est utilisé lors de l'inférence. 

Cependant, ils nécessitent toujours une RAM suffisante pour accueillir un modèle de 47 milliards de paramètres. Les 47 milliards de paramètres diffèrent des 56 milliards attendus, car de nombreux paramètres sont partagés parmi les MoE, et tous les 7 milliards de paramètres de chaque expert ne sont pas multipliés par huit.

Convivial et accessible

L'une des caractéristiques notables de Mixtral 8x7B est sa convivialité. Il est entièrement ajustable par l'utilisateur et disponible pour le déploiement par quiconque dispose d'un ordinateur suffisamment puissant. Les utilisateurs peuvent l'exécuter localement à l'aide de LM Studio, garantissant un contrôle optimal sur le comportement du modèle. De plus, des garde-fous peuvent être activés pour se protéger contre le contenu potentiellement nuisible, bien qu'ils ne soient pas activés par défaut. Cela garantit une expérience d'IA sûre et responsable.

Pour ceux qui préfèrent ne pas exécuter Mixtral localement ou ne disposent pas des exigences matérielles, il est disponible sur Hugging Face. L'implémentation de Hugging Face est dotée de garde-fous par défaut, offrant une expérience similaire à celle de ChatGPT 3.5 en termes de performances et de la gamme de requêtes qu'elle peut gérer. Mixtral 8x7B ne se spécialise pas dans un domaine spécifique ; il s'agit plutôt d'un modèle de langage large polyvalent et complet.

L'avenir de l'IA générative

Alors que la technologie continue d'avancer, 2023 a été témoin d'une augmentation des modèles d'IA générative. Le paysage devrait évoluer davantage l'année prochaine, avec la possibilité de la sortie de plus de modèles et d'améliorations continues. Avec les rumeurs circulant autour d'OpenAI et l'avènement potentiel de l'Intelligence Générale Artificielle, le monde de l'IA est prêt pour des développements encore plus excitants dans un avenir proche. Mixtral est destiné à faire partie de cet avenir.