Ao impulsionar soluções empresariais completas como a AI21 e superar todos os modelos conhecidos em termos de produtividade, o Jambo se torna o primeiro modelo disponível em um método baseado em Mamba de nível de produção. Com a integração da tecnologia Mamba SSM e elementos de uma antiga arquitetura Transformer, o Jambo representa uma nova visão no design de modelos de linguagem mais abrangentes ( LLM ).
Revolucionando os Mestrados em Direito
O surgimento do Jamba indica uma mudança de era no caso dos LLMs, que lidam eficientemente com as limitações das arquiteturas SSM e Transformers. Ao explorar tamanhos de janela de contexto de até 256K, o Jamba demonstra uma grande vantagem sobre outros modelos em regiões semelhantes em diferentes benchmarks, estabelecendo assim um novo padrão para a melhor eficiência e desempenho.
A arquitetura do Jamba possui diversos aspectos que o configuram como um sistema híbrido de Transformers, Mambas e uma combinação de especialistas (MoE) que atuam em sinergia. Essa integração implementa a otimização da utilização de memória juntamente com a taxa de transferência, que é o foco principal de uma tarefa de linguagem em larga escala, e amplia o limite do desempenho que pode ser alcançado.
A escalabilidade está no DNA do Jamba, o que significa que ele pode lidar com mais de 140 mil contextos usando apenas uma GPU. Essa escalabilidade permite manter as operações e o envolvimento sob controle, auxiliando no aprendizado e na exploração, gerando novos conhecimentos e fomentando a inovação na comunidade de IA.
Conquistas marcantes
O lançamento do Jamba representa não apenas um fenômeno revolucionário, mas também um passo pioneiro no campo da pesquisa em LLM (Learning Learning Machine). Primeiramente, ele funde com sucesso as arquiteturas Mamba e Transformer de tal forma que ambas funcionam como simbiontes, cuja combinação se mostra verdadeiramente mais poderosa do que as partes individuais. Além disso, o texto apresenta uma versão híbrida SSM-Transformer que combina o poder e a velocidade de outros SSM-Transformers existentes com a capacidade de operar melhor em novos contextos.
Dagan, vice-presidente de produto da AI21, expressou grande entusiasmo e destacou a estrutura de arquitetura mista da Jamba. Ele explicou como a agilidade da Jamba permite a entrega rápida de casos de uso em grandes volumes e suporta rapidez em tempo real, acelerando inclusive o lançamento de casos de uso críticos.
Colaboração de código aberto
O lançamento dos pesos livres da Jamba sob a licença Apache 2.0 implica que a AI21 pode implementar esse tipo de comissão na comunidade de código aberto. A AI21 está comprometida em fornecer um ambiente onde novos avanços possam ser fomentados, incentivando novas contribuições e ideias.
Encapsular um NVIDIA como um microsserviço de inferência NIM simplifica a acessibilidade do Jamba, impulsionando aplicações empresariais. Humanização: A integração descomplicada permite uma implementação rápida e sem problemas, além da atualização das aplicações do Jampa em praticamente todos os cenários do dia a dia.
O lançamento do Jamba pela AI21 representa um marco importante no campo da IA corporativa. O Jamba está preparado para transformar o setor de modelos de linguagem, oferecendo uma arquitetura híbrida inovadora, escalabilidade incomparável e recursos excepcionais de integração de modelos. Dessa forma, ele capacita os clientes a realizar suas tarefas de linguagem mais complexas com mais facilidade e rapidez do que era possível anteriormente.
A AI21 também demonstrou seu apoio à colaboração em código aberto e a parcerias comerciais com empresas líderes em IA, como a NVIDIA, o que demonstra ainda mais sua dedicação em impulsionar o ritmo do avanço tecnológico e aumentar a adoção de soluções de IA altamente eficientes em diversas áreas.
A Jamba, no entanto, está assegurando seu lugar no amplo cenário da IA no que diz respeito ao processamento de linguagem; portanto, o impacto será sentido muito além do escopo das plataformas tradicionais de processamento de linguagem, inaugurando uma nova ordem de soluções de negócios baseadas em IA.
