Les systèmes d'IA de nouvelle génération promettent une évolutivitédent

Jambo, qui alimente des solutions métiers intégrées comme AI21 et surpasse tous les modèles mondiaux connus en termes de productivité, devient le premier modèle disponible sur une méthode Mamba de qualité professionnelle. Grâce à l'intégration de la technologie Mamba SSM et des éléments d'une architecture Transformer classique, Jambo incarne une nouvelle vision de la conception des modèles de langage à grande échelle (LLM).

Révolutionner les LLM

L'apparition de Jamba marque un tournant dans le domaine des LLM, qui s'affranchissent efficacement des contraintes des architectures SSM et Transformers classiques. Capable de gérer des fenêtres de contexte jusqu'à 256 Ko, Jamba surpasse largement les autres modèles dans des domaines similaires sur différents benchmarks, établissant ainsi une nouvelle référence en matière d'efficacité et de performance.

L'architecture de Jamba présente de nombreux aspects qui en font un système hybride combinant Transformers, Mambas et un ensemble d'experts (MoE) fonctionnant en synergie. Cette intégration optimise l'utilisation de la mémoire et le débit, éléments essentiels pour les tâches de traitement de langages à grande échelle, et repousse les limites de la performance.

L'évolutivité est au cœur de Jamba : elle lui permet de gérer plus de 140 000 contextes avec un seul GPU. Cette évolutivité permet de maintenir une distance optimale entre les opérations et les utilisateurs, facilitant ainsi l'apprentissage et l'exploration, la génération de nouvelles connaissances et l'innovation au sein de la communauté de l'IA.

Réalisations marquantes

Le déploiement de Jamba représente non seulement un bouleversement majeur, mais aussi une avancée pionnière dans le domaine de la recherche sur les LLM. Premièrement, il fusionne avec succès les architectures Mamba et Transformer de manière à ce que les deux fonctionnent en symbiose, leur combinaison se révélant bien plus puissante que la somme de leurs parties. De plus, le texte introduit une version hybride SSM-Transformer qui combine la puissance et la rapidité des SSM-Transformer existants avec une meilleure adaptation à de nouveaux contextes.

Dagan, vice-président produit chez AI21, a fait une déclaration remarquable, mettant l'accent sur l'architecture mixte de Jamba. Il a expliqué comment l'agilité de Jamba permet un déploiement rapide de cas d'usage à grande échelle et une réactivité en temps réel, accélérant même le lancement de cas d'usage critiques.

Collaboration open source

La publication des poids libres de Jamba sous licence Apache 2.0 implique qu'AI21 peut mettre en œuvre ce type de collaboration au sein de la communauté open source. AI21 s'engage à fournir un environnement propice aux nouvelles avancées en encourageant les contributions et les idées.

L'encapsulation d'un NVIDIA sous forme de microservice d'inférence NIM simplifie l'accès à Jamba pour les applications d'entreprise. L'intégration fluide permet un déploiement rapide et sans problème, ainsi que la mise à jour des applications Jamba dans la quasi-totalité des scénarios quotidiens.

Le lancement de Jamba par AI21 marque une étape importante dans le domaine de l'IA en entreprise. Jamba est en passe de révolutionner le secteur des modèles de langage grâce à une architecture hybride innovante, une évolutivité inégalée et des fonctionnalités d'intégration de modèles exceptionnelles. Il permet ainsi aux clients de réaliser leurs tâches linguistiques complexes plus facilement et plus rapidement qu'auparavant.

AI21 a également démontré son soutien à la collaboration open source et aux partenariats commerciaux avec des entreprises d'IA de premier plan comme NVIDIA, ce qui témoigne de son engagement à accélérer le rythme des progrès technologiques et à accroître l'adoption de solutions d'IA hautement efficaces dans divers domaines.

Jamba, cependant, s'assure une place de choix dans le paysage plus large de l'IA en matière de traitement du langage ; son impact se fera donc sentir bien au-delà des plateformes de traitement du langage traditionnelles, inaugurant ainsi un nouvel ordre de solutions commerciales basées sur l'IA.