Alimentando una soluzione aziendale completa come AI21 e superando tutti i modelli mondiali conosciuti in termini di produttività, Jambo diventa il primo modello disponibile su un metodo basato su Mamba di livello produttivo. Con l'integrazione della tecnologia Mamba SSM e degli elementi di una vecchia architettura Transformer, Jamba rappresenta una nuova visione nella progettazione del modello linguistico più ampio ( LLM ).
Rivoluzionare gli LLM
L'aspetto di Jamba indica un cambiamento epocale nel caso degli LLM, che gestiscono in modo efficiente i vincoli delle architetture SSM standard e Transformer. Avventurandosi in finestre di contesto di dimensioni fino a 256K, Jamba si dimostra nettamente superiore rispetto ad altri modelli in regioni simili in diversi benchmark, stabilendo così un nuovo standard di riferimento per la migliore efficienza e prestazioni.
L'architettura di Jamba presenta molti aspetti che lo caratterizzano come un sistema ibrido di Transformer, Mamba e un mix di esperti (MoE) che agiscono in sinergia. Questa integrazione implementa l'ottimizzazione dell'utilizzo della memoria insieme al throughput, che è l'obiettivo principale di un'attività linguistica su larga scala, e spinge al limite le prestazioni raggiungibili.
La scalabilità è il DNA di Jamba, che può gestire oltre 140.000 contesti utilizzando una sola GPU. Questa scalabilità consente di mantenere operazioni e coinvolgimento a distanza, facilitando l'apprendimento e l'esplorazione, generando nuove conoscenze e promuovendo l'innovazione all'interno della comunità dell'IA.
Traguardi raggiunti
Il lancio di Jamba segna non solo un fenomeno rivoluzionario, ma anche un passo avanti pionieristico nel campo della ricerca LLM. In primo luogo, fonde con successo l'architettura Mamba e quella Transformer in modo tale che i due possano lavorare insieme come simbionti, la cui combinazione risulta davvero più potente delle singole metà. Inoltre, il testo introduce una versione ibrida SSM-Transformer che combina la potenza e la velocità di altri SSM-Transformer esistenti con la capacità di funzionare meglio in nuovi contesti.
Dagan, Vicepresidente Prodotto di AI21, si è espresso in modo sorprendente e ha messo in primo piano la struttura mista di Jamba. Ha spiegato come l'agilità di Jamba consenta la rapida distribuzione di casi d'uso con volumi elevati e supporti la rapidità in tempo reale, accelerando persino il lancio di casi d'uso critici.
Collaborazione open source
La versione open weights di Jamba con licenza Apache 2.0 implica che AI21 possa implementare questo tipo di incarico nella comunità open source. AI21 si impegna a fornire un ambiente in cui promuovere nuovi progressi incoraggiando ulteriori contributi e idee.
L'incapsulamento di una NVIDIA come microservizio di inferenza NIM semplifica l'accessibilità di Jamba, supportando le applicazioni aziendali. Umanizzazione: l'integrazione senza intoppi consente un'implementazione rapida e senza problemi, consentendo l'aggiornamento delle applicazioni Jampa praticamente in tutti gli scenari quotidiani.
Il lancio di Jamba da parte di AI21 ha segnato un'importante pietra miliare nel campo dell'intelligenza artificiale aziendale. Jamba è pronto a trasformare il settore dei modelli linguistici offrendo un'architettura ibrida innovativa, una scalabilità senza pari e funzionalità di integrazione dei modelli eccezionali. Permette quindi ai clienti di affrontare le loro complesse attività linguistiche in modo semplice e veloce rispetto al passato.
AI21 ha inoltre dimostrato il suo supporto alla collaborazione open source e alle partnership commerciali con aziende leader nel campo dell'intelligenza artificiale come NVIDIA, a ulteriore dimostrazione del suo impegno nel guidare il ritmo del progresso tecnologico e nell'incrementare l'adozione di soluzioni di intelligenza artificiale altamente efficienti in vari campi.
Jamba, tuttavia, si sta assicurando un posto nel più ampio panorama dell'intelligenza artificiale per quanto riguarda l'elaborazione del linguaggio; pertanto, l'impatto si farà sentire ben oltre la portata delle tradizionali piattaforme di elaborazione del linguaggio, inaugurando un nuovo ordine di soluzioni aziendali basate sull'intelligenza artificiale.
