Al impulsar una solución empresarial integral como AI21 y superar todos los modelos conocidos en términos de productividad, Jambo se convierte en el primer modelo disponible con un método Mamba de nivel de producción. Con la integración de la tecnología Mamba SSM y los elementos de una arquitectura Transformer tradicional, Jamba representa una nueva visión en el diseño del modelo de lenguaje más amplio ( LLM ).
Revolucionando los LLM
La aparición de Jamba marca un cambio de era en el caso de los LLM, que gestionan eficazmente las limitaciones de las arquitecturas SSM y Transformers. Al aventurarse en tamaños de ventana de contexto de hasta 256K, Jamba presenta una clara ventaja sobre otros modelos en regiones similares en diferentes benchmarks, estableciendo así el nuevo estándar para la mejor eficiencia y rendimiento.
La arquitectura de Jamba cuenta con numerosos aspectos que la configuran como un sistema híbrido de Transformers, Mambas y una combinación de expertos (MoE) que actúan en sinergia. Esta integración optimiza la utilización de la memoria junto con el rendimiento, que es el objetivo principal de una tarea de lenguaje a gran escala, y amplía el rendimiento máximo.
La escalabilidad es la esencia de Jamba, lo que significa que puede gestionar más de 140 000 contextos con una sola GPU. Esta escalabilidad permite mantener las operaciones y la participación a distancia, facilitando el aprendizaje y la exploración, generando nuevos conocimientos y fomentando la innovación en la comunidad de IA.
Logros importantes
El lanzamiento de Jamba no solo marca un fenómeno revolucionario, sino también un avance pionero en el campo de la investigación LLM. En primer lugar, fusiona con éxito la arquitectura Mamba y la Transformer, de tal manera que ambas funcionan juntas como simbiontes, cuya combinación resulta ser mucho más poderosa que sus mitades individuales. Además, el texto presenta una versión híbrida de SSM-Transformer que combina la potencia y la velocidad de otros SSM-Transformers existentes con la capacidad de funcionar mejor en nuevos contextos.
Sin embargo, Dagan, vicepresidente de producto de AI21, se mostró sorprendente y mantuvo la estructura de arquitectura mixta de Jamba como prioridad. Explicó cómo la agilidad de Jamba permite la entrega rápida de casos de uso con grandes volúmenes y respalda la rapidez en tiempo real, acelerando incluso el lanzamiento de casos de uso críticos.
Colaboración de código abierto
La publicación de pesos abiertos de Jamba con licencia Apache 2.0 implica que AI21 puede implementar este tipo de comisión en la comunidad de código abierto. AI21 se compromete a proporcionar un entorno que impulse nuevos avances, fomentando nuevas contribuciones e ideas.
Encapsular una NVIDIA como un microservicio de inferencia NIM simplifica la accesibilidad de Jamba para impulsar las aplicaciones empresariales. Humanización: La integración fluida permite una implementación rápida y sin problemas, a la vez que actualiza las aplicaciones de Jamba en prácticamente cualquier escenario cotidiano.
El lanzamiento de Jamba por parte de AI21 ha marcado un hito importante en el sector de la IA corporativa. Jamba está preparado para transformar la industria de los modelos lingüísticos al ofrecer una arquitectura híbrida innovadora, una escalabilidad inigualable y funciones excepcionales de integración de modelos. Por lo tanto, permite a los clientes abordar sus complejas tareas lingüísticas con mayor facilidad y rapidez que antes.
AI21 también ha demostrado su apoyo a la colaboración de código abierto y a las asociaciones comerciales con empresas líderes en IA como NVIDIA, lo que demuestra aún más su dedicación a impulsar el ritmo del avance tecnológico y aumentar la adopción de soluciones de IA altamente eficientes en diversos campos.
Jamba, sin embargo, se está asegurando su lugar dentro del panorama más amplio de la IA en lo que se refiere al procesamiento del lenguaje; por lo tanto, el impacto se sentirá mucho más allá del alcance de las plataformas de procesamiento del lenguaje tradicionales para marcar el comienzo de un nuevo orden de soluciones comerciales impulsadas por IA.
