Sistema de IA de Próxima Geração Promete Escalabilidade Sem Precedentes

Alimentando a solução empresarial completa como a AI21, enquanto supera todos os modelos mundiais conhecidos em termos de produtividade, o Jambo torna-se o primeiro modelo disponível em um método Mamba de nível de produção. Com a integração da tecnologia Mamba SSM e os elementos de uma arquitetura Transformer antiga, o Jamba representa uma nova visão no design do modelo de linguagem grande (LLM).

Revolucionando LLMs

O aparecimento do Jamba indica uma mudança de era no caso dos LLMs, que lidam eficientemente com as restrições dos tipos de arquitetura SSM regular e Transformers. Aprofundando-se no tamanho da janela de contexto até 256K, o Jamba é visto como tendo uma grande vantagem sobre outros modelos em regiões semelhantes em diferentes benchmarks, estabelecendo assim a nova barra como medida da melhor eficiência e desempenho.

A arquitetura do Jamba possui muitos aspectos que a configuram como um sistema híbrido de Transformers, Mambas e uma mistura de especialistas (MoE) que atuam juntos em sinergia. Esta integração implementa a otimização do uso de memória junto com o throughput, que é o foco principal de uma tarefa de linguagem em grande escala, e empurra os limites do que pode ser alcançado em termos de desempenho.

Ser escalável é o DNA do Jamba, o que significa que ele pode lidar com mais de 140K contextos usando apenas uma GPU. Esta escalabilidade pode manter as operações e o envolvimento à distância, auxiliando na aprendizagem e exploração, gerando novo conhecimento e fomentando a inovação dentro da comunidade de IA.

Conquistas de Marco

O lançamento do Jamba marca não apenas um fenômeno transformador, mas também um passo pioneiro para frente no campo da pesquisa de LLMs. Em primeiro lugar, ele funde com sucesso a arquitetura Mamba e a Transformer de tal forma que as duas trabalham juntas como simbiontes, sendo que a combinação se mostra verdadeiramente mais poderosa do que as partes individuais. Além disso, o texto introduz uma versão híbrida SSM-Transformer que combina o poder e a velocidade de outros SSM-Transformers existentes com a capacidade de funcionar melhor em novos contextos.

Dagan, no entanto, VP de produto na AI21, expressou-se incrivelmente e manteve a estrutura de arquitetura mista do Jamba em primeiro plano. Ele explicou como a agilidade do Jamba permite a entrega rápida de casos de uso com grandes volumes e suporta rapidez em tempo real, acelerando até mesmo o lançamento de casos de uso críticos.

Colaboração de código aberto

O lançamento dos pesos abertos do Jamba com uma licença Apache 2.0 implica que a AI21 pode implementar este tipo de comissão na comunidade de código aberto. A AI21 está comprometida em fornecer um ambiente onde novos avanços possam ser fomentados, incentivando contribuições e ideias adicionais.

Encapsular um pipeline de GPU NVIDIA como um microsserviço de inferência NIM simplifica a acessibilidade do Jamba, alimentando aplicativos empresariais. Humanização: A integração sem atritos permite uma implantação rápida e sem problemas, atualizando simultaneamente as aplicações do Jampa em praticamente todos os cenários diários.

O lançamento do Jamba pela AI21 significou um marco importante no campo da IA corporativa. O Jamba está posicionado para transformar a indústria de modelos de linguagem, oferecendo uma arquitetura híbrida inovadora, escalabilidade sem igual e recursos excepcionais de integração de modelos. Portanto, ele equipa os clientes para realizar suas tarefas de linguagem desafiadoras de forma mais fácil e rápida do que era possível anteriormente.

A AI21 também demonstrou seu apoio à colaboração de código aberto e parcerias comerciais com empresas de IA líderes como a NVIDIA, o que demonstra ainda mais seu compromisso em acelerar o ritmo do avanço tecnológico e aumentar a adoção de soluções de IA altamente eficientes em vários campos.

O Jamba, no entanto, está garantindo seu lugar dentro da paisagem mais ampla de IA no que diz respeito ao processamento de linguagem; portanto, o impacto será sentido muito além do escopo das plataformas tradicionais de processamento de linguagem, para inaugurar uma nova ordem de soluções empresariais impulsionadas por IA.