AI21과 같은 원스톱 비즈니스 솔루션을 강화하는 동시에 생산성 측면에서 기존 세계 모델을 모두 능가하는 Jambo는 Mamba 기반 방식으로 프로덕션급 모델을 구현한 최초의 모델이 되었습니다. Mamba SSM 기술과 기존 Transformer 아키텍처의 요소를 통합하여 Jamba는 대규모 언어 모델( LLM ) 설계에 있어 새로운 비전을 제시합니다.
LLM 혁신
Jamba의 등장은 LLM의 경우 시대의 전환을 시사하며, 일반 SSM 및 Transformers 유형 아키텍처의 제약 조건을 효율적으로 처리합니다. 최대 256K의 컨텍스트 윈도우 크기를 지원하는 Jamba는 다양한 벤치마크에서 유사 지역의 다른 모델보다 큰 우위를 점하는 것으로 나타났으며, 최고의 효율성과 성능을 측정하는 새로운 기준을 제시합니다.
Jamba의 아키텍처는 Transformer, Mamba, 그리고 MoE(전문가 혼합)가 시너지 효과를 내는 하이브리드 시스템으로 기능하는 여러 측면을 갖추고 있습니다. 이러한 통합은 대규모 언어 작업의 핵심인 처리량과 함께 메모리 사용률 최적화를 구현하여 성능 한계를 뛰어넘습니다.
확장성은 Jamba의 DNA입니다. 즉, 단 하나의 GPU로 14만 개 이상의 컨텍스트를 처리할 수 있습니다. 이러한 확장성은 운영과 참여를 안정적으로 유지하여 학습과 탐색을 지원하고, 새로운 지식을 창출하며, AI 커뮤니티 내 혁신을 촉진합니다.
이정표 업적
Jamba 출시는 판도를 바꾸는 현상일 뿐만 아니라 LLM 연구 분야의 선구적인 진전을 의미합니다. 첫째, Mamba와 Transformer 아키텍처를 성공적으로 통합하여 마치 공생체처럼 함께 작동하도록 했으며, 그 조합은 각기 다른 부분보다 훨씬 강력합니다. 더불어, 본 논문에서는 기존 SSM-Transformers의 성능과 속도에 새로운 환경에서 더 효과적으로 작동할 수 있는 기능을 결합한 하이브리드 SSM-Transformer 버전을 소개합니다.
하지만 AI21의 제품 담당 부사장인 다간은 놀라운 표현을 하며 잠바의 혼합 아키텍처 구조를 전면에 내세웠습니다. 그는 잠바의 민첩성이 방대한 양의 사용 사례를 신속하게 제공하고 실시간 처리 속도를 지원하며, 심지어 중요한 사용 사례의 출시까지 가속화한다고 설명했습니다.
오픈소스 협업
Jamba가 Apache 2.0 라이선스를 기반으로 공개 배포한다는 것은 AI21이 오픈소스 커뮤니티에서 이러한 종류의 커미션을 구현할 수 있음을 의미합니다. AI21은 더 많은 기여와 아이디어를 장려하여 새로운 발전이 촉진될 수 있는 환경을 조성하기 위해 최선을 다하고 있습니다.
NVIDIA 캡슐화하면 엔터프라이즈 애플리케이션 구동에 필요한 Jamba 접근성이 간소화됩니다. 인간화: 원활한 통합을 통해 거의 모든 일상 상황에서 Jampa 애플리케이션을 업그레이드하는 동시에 빠르고 문제 없이 배포할 수 있습니다.
AI21의 Jamba 출시는 기업 AI 분야에서 중요한 이정표를 세웠습니다. Jamba는 혁신적인 하이브리드 아키텍처, 탁월한 확장성, 그리고 탁월한 모델 통합 기능을 제공하여 언어 모델 산업을 혁신할 준비가 되어 있습니다. 따라서 Jamba는 고객이 까다로운 언어 작업을 이전보다 훨씬 쉽고 빠르게 수행할 수 있도록 지원합니다.
AI21은 또한 NVIDIA와 같은 선도적인 AI 기업과의 오픈 소스 협업 및 비즈니스 파트너십에 대한 지원을 보여줬으며, 이를 통해 기술 발전의 속도를 높이고 다양한 분야에서 고효율 AI 솔루션의 도입을 늘리려는 AI21의 헌신을 더욱 잘 보여줍니다.
그러나 Jamba는 언어 처리와 관련하여 더 광범위한 AI 환경에서 자리를 잡고 있습니다. 따라서 그 영향은 기존 언어 처리 플랫폼의 범위를 훨씬 넘어서 AI 기반 비즈니스 솔루션의 새로운 질서를 가져올 것입니다.
