Alimentant une solution commerciale à guichet unique comme AI21 tout en battant tous les modèles mondiaux connus en termes de productivité, Jambo devient le premier modèle disponible sur une méthode basée sur Mamba de qualité production. Avec l'intégration de la technologie Mamba SSM et des éléments d'une ancienne architecture Transformer, Jamba représente une nouvelle vision dans la conception du modèle de langage plus large ( LLM ).
Révolutionner les LLM
L'apparition de Jamba indique un changement d'ère dans le cas des LLM, qui gèrent efficacement les contraintes des architectures de type SSM et Transformers classiques. S'aventurant dans une taille de fenêtre contextuelle allant jusqu'à 256 Ko, Jamba semble avoir un grand avantage sur les autres modèles dans des régions similaires sur différents benchmarks, plaçant ainsi la nouvelle barre en tant que mesure de la meilleure efficacité et performance.
L'architecture de Jamba présente de nombreux aspects qui en font un système hybride de transformateurs, de Mambas et d'un mélange d'experts (MoE) qui agissent ensemble en synergie. Cette intégration implémente l'optimisation de l'utilisation de la mémoire ainsi que du débit, qui est l'objectif principal d'une tâche linguistique à grande échelle, et repousse les limites des performances pouvant être atteintes.
L'évolutivité est l'ADN de Jamba, ce qui signifie qu'il peut gérer plus de 140 000 contextes en utilisant un seul GPU. Cette évolutivité peut maintenir les opérations et la participation à distance, facilitant l'apprentissage et l'exploration, générant de nouvelles connaissances et favorisant l'innovation au sein de la communauté de l'IA.
Réalisations marquantes
Le déploiement de Jamba marque non seulement un phénomène révolutionnaire, mais également une avancée pionnière dans le domaine de la recherche LLM. Premièrement, il fusionne avec succès les architectures Mamba et Transformer de telle manière que les deux fonctionnent ensemble comme des symbiotes, dont la combinaison s'avère vraiment plus puissante que les moitiés individuelles. En plus de cela, le texte présente une version hybride du SSM-Transformer qui combine la puissance et la vitesse des autres SSM-Transformers existants avec la capacité de mieux fonctionner dans de nouveaux contextes.
Dagan, cependant, vice-président des produits chez AI21, s'est exprimé incroyablement et a maintenu la structure d'architecture mixte de Jamba au premier plan. Il a expliqué comment l'agilité de Jamba permet de livrer rapidement des cas d'utilisation avec des volumes énormes et prend en charge la rapidité en temps réel, accélérant même le lancement de cas d'utilisation critiques.
Collaboration open source
La version des poids ouverts de Jamba avec une licence Apache 2.0 implique qu'AI21 peut implémenter ce type de commission dans la communauté open source. AI21 s'engage à fournir un environnement dans lequel de nouvelles avancées peuvent être favorisées en encourageant de nouvelles contributions et idées.
L'encapsulation d'un NVIDIA en tant que microservice d'inférence NIM simplifie l'accessibilité Jamba qui alimente les applications d'entreprise. Humanisation : l'intégration fluide permet un déploiement rapide et sans problème tout en mettant à niveau les applications Jampa dans pratiquement tous les scénarios quotidiens.
La sortie de Jamba par AI21 a marqué une étape importante dans le domaine de l'IA d'entreprise. Jamba est sur le point de transformer le secteur des modèles de langage en proposant une architecture hybride innovante, une évolutivité inégalée et des fonctionnalités d'intégration de modèles exceptionnelles. Il permet donc aux clients d'entreprendre leurs tâches linguistiques difficiles plus facilement et plus rapidement qu'auparavant.
AI21 a également démontré son soutien à la collaboration open source et aux partenariats commerciaux avec des sociétés d'IA de premier plan comme NVIDIA, qui démontrent une fois de plus son engagement à accélérer le rythme du progrès technologique et à accroître l'adoption de solutions d'IA hautement efficaces dans divers domaines.
Jamba, cependant, s'assure de sa place dans le paysage plus large de l'IA en ce qui concerne le traitement du langage ; ainsi, l’impact se fera sentir bien au-delà de la portée des plates-formes de traitement linguistique traditionnelles pour ouvrir la voie à un nouvel ordre de solutions commerciales basées sur l’IA.
