Un système d’IA de nouvelle génération promet une scalabilité sans précédent

Alimentant la solution commerciale tout-en-un comme AI21 tout en battant tous les modèles mondiaux connus en termes de productivité, Jambo devient le premier modèle disponible sur une méthode Mamba de qualité production. Avec l’intégration de la technologie Mamba SSM et des éléments d’une ancienne architecture Transformer, Jamba représente une nouvelle vision dans la conception du grand modèle de langage (LLM).

Révolutionner les LLM

L’apparition de Jamba indique un changement d’ère dans le cas des LLM, qui traitent efficacement les contraintes des architectures régulières SSM et de type Transformer. En explorant une taille de fenêtre de contexte allant jusqu’à 256K, Jamba semble avoir un avantage majeur sur d’autres modèles dans des régions similaires sur différents benchmarks, définissant ainsi une nouvelle norme pour la meilleure efficacité et performance.

L’architecture de Jamba possède de nombreux aspects qui en font un système hybride de Transformers, Mambas et d’un mélange d’experts (MoE) qui agissent ensemble en synergie. Cette intégration met en œuvre une optimisation de l’utilisation de la mémoire ainsi que le débit, qui est l’objectif principal d’une tâche de langage à grande échelle, et repousse les limites de ce qui peut être atteint en termes de performance.

La scalabilité est dans l’ADN de Jamba, ce qui signifie qu’il peut gérer plus de 140K contextes en utilisant un seul GPU. Cette scalabilité peut maintenir les opérations et l’engagement à distance, aidant à l’apprentissage et à l’exploration, générant de nouvelles connaissances et favorisant l’innovation au sein de la communauté IA.

Réalisations marquantes

Le déploiement de Jamba marque non seulement un phénomène changeant le jeu, mais aussi une étape pionnière dans le domaine de la recherche sur les LLM. Premièrement, il fusionne avec succès l’architecture Mamba et Transformer de telle manière que les deux fonctionnent ensemble comme des symbiotes, la combinaison de laquelle s’avère véritablement plus puissante que les moitiés individuelles. De plus, le texte introduit une version hybride SSM-Transformer qui combine la puissance et la vitesse des autres SSM-Transformers existants avec la capacité de mieux fonctionner dans de nouveaux contextes.

Dagan, cependant, VP du produit chez AI21, a exprimé de manière incroyable et a maintenu la structure architecturale mixte de Jamba à l’avant-plan. Il a expliqué comment l’agilité de Jamba permet une livraison rapide des cas d’utilisation avec de grands volumes et soutient la rapidité en temps réel, accélérant même le lancement de cas d’utilisation critiques.

Collaboration open source

La publication des poids ouverts de Jamba sous licence Apache 2.0 implique qu’AI21 peut mettre en œuvre ce type de commission dans la communauté open source. AI21 s’engage à fournir un environnement où de nouvelles avancées peuvent être favorisées en encourageant davantage de contributions et d’idées.

Encapsuler un pipeline GPU NVIDIA en tant que microservice d’inférence NIM simplifie l’accessibilité de Jamba alimentant les applications d’entreprise. Humanisation : L’intégration sans friction permet un déploiement rapide et sans problème tout en mettant à niveau les applications de Jampa dans pratiquement tous les scénarios quotidiens.

Le lancement par AI21 de Jamba a marqué une étape importante dans le domaine de l'IA d'entreprise. Jamba est prêt à transformer l'industrie des modèles de langage en offrant une architecture hybride innovante, une évolutivité inégalée et des fonctionnalités d'intégration de modèle exceptionnelles. Il permet ainsi aux clients de réaliser plus facilement et plus rapidement leurs tâches linguistiques complexes qu'auparavant.

AI21 a également montré son soutien à la collaboration open-source et aux partenariats commerciaux avec des entreprises d'IA de premier plan comme NVIDIA, ce qui démontre davantage son engagement à accélérer le rythme des avancées technologiques et à accroître l'adoption de solutions d'IA hautement efficaces dans divers domaines.

Cependant, Jamba s'assure de sa place dans le paysage plus large de l'IA en ce qui concerne le traitement du langage ; ainsi, son impact se fera sentir bien au-delà du cadre des plateformes traditionnelles de traitement du langage, ouvrant la voie à un nouvel ordre de solutions commerciales alimentées par l'IA.