Jambo 为 AI21 等一站式业务解决方案提供支持,同时在生产力方面击败了所有已知的世界模型,成为第一个采用基于 Mamba 的生产级方法的模型。 通过集成 Mamba SSM 技术和旧 Transformer 架构的元素,Jamba 代表了设计更大语言模型 ( LLM ) 的新愿景。
彻底改变法学硕士
Jamba 的出现标志着法学硕士的时代转变,它有效地处理了常规 SSM 和 Transformers 类型架构的限制。 在上下文窗口大小高达 256K 的情况下,Jamba 在不同基准测试中比类似区域的其他模型具有很大优势,因此将新标准设置为最佳效率和性能的衡量标准。
Jamba 的架构有很多方面,将其设置为 Transformer、Mamba 和协同作用的专家 (MoE) 混合系统。 这种集成实现了内存利用率优化和吞吐量(这是大规模语言任务的主要焦点),并突破了性能的极限。
可扩展是 Jamba 的 DNA,这意味着它仅使用一个 GPU 即可处理超过 140K 的上下文。 这种可扩展性可以使操作和参与保持一定距离,帮助学习和探索,产生新知识,并促进人工智能社区的创新。
里程碑式的成就
Jamba 的推出不仅标志着一种改变游戏规则的现象,而且标志着法学硕士研究领域向前迈出了开创性的一步。 首先,它成功地融合了 Mamba 和 Transformer 架构,使两者像共生体一样协同工作,事实证明,两者的结合确实比单独的一半更强大。 最重要的是,本文介绍了混合 SSM-Transformer 版本,它将其他现有 SSM-Transformer 的功能和速度与在新环境中更好地工作的能力结合起来。
然而,AI21 产品副总裁 Dagan 却表示难以置信,并将 Jamba 的混合架构结构保持在最前沿。 他解释了 Jamba 的敏捷性如何能够快速交付大量用例并支持实时速度,甚至加速关键用例的启动。
开源协作
Jamba 以 Apache 2.0 许可证发布的开放权重意味着 AI21 可以在开源社区中实施此类委托。 AI21 致力于提供一个环境,通过鼓励进一步的贡献和想法来促进新的进步。
将NVIDIA GPU 管道封装为 NIM 推理微服务可以简化支持企业应用程序的 Jamba 可访问性。 人性化:无摩擦的集成允许快速、无问题的部署,同时在几乎所有日常场景中升级 Jampa 的应用程序。
AI21 Jamba的发布标志着企业人工智能领域的一个重要里程碑。 Jamba 准备通过提供创新的混合架构、无与伦比的可扩展性和卓越的模型集成功能来改变语言模型行业。 因此,它使客户能够比以前更轻松、更快地完成具有挑战性的语言任务。
AI21还表示支持与NVIDIA等领先人工智能公司的开源合作和业务合作,这进一步表明其致力于推动技术进步的步伐,并增加高效人工智能解决方案在各个领域的采用。
然而,Jamba 正在确保其在更广泛的人工智能领域的地位,因为它与语言处理相关。 因此,其影响将远远超出传统语言处理平台的范围,从而迎来人工智能驱动的业务解决方案的新秩序。