차세대 AI 시스템은 전례 없는 확장성을 약속합니다

AI21과 같은 원스톱 비즈니스 솔루션을 지원하며 생산성 측면에서 알려진 모든 세계 모델을 능가하는 Jambo는 생산 등급의 Mamba 기반 방법에서 사용 가능한 첫 번째 모델이 됩니다. Mamba SSM 기술과 오래된 Transformer 아키텍처의 요소를 통합함으로써, Jamba는 더 큰 언어 모델(LLM) 설계에 대한 새로운 비전을 나타냅니다.

LLM의 혁신

Jamba의 등장은 LLM의 경우 시대적 전환을 나타내며, 이는 일반적인 SSM 및 Transformer 유형 아키텍처의 제약을 효율적으로 처리합니다. 최대 256K의 컨텍스트 창 크기로 확장되는 Jamba는 다른 벤치마크에서 유사한 영역의 다른 모델들에 비해 큰 우위를 점하는 것으로 보이며, 이는 최고의 효율성과 성능을 측정하는 새로운 기준을 설정합니다.

Jamba의 아키텍처는 Transformer, Mamba 및 전문가의 혼합(MoE)이 시너지 효과를 내는 하이브리드 시스템으로 설정하는 많은 측면을 가지고 있습니다. 이 통합은 대규모 언어 작업의 주요 초점인 처리량을 포함하여 메모리 활용 최적화를 구현하며, 달성할 수 있는 성능의 한계를 밀어붙입니다.

확장성은 Jamba의 DNA입니다. 즉, 단일 GPU를 사용하여 140K 이상의 컨텍스트를 처리할 수 있습니다. 이 확장성은 운영과 참여를 원거리에서 유지하여 학습과 탐색을 돕고, 새로운 지식을 생성하며, AI 커뮤니티 내에서 혁신을 촉진합니다.

마일스톤 성과

Jamba의 롤아웃은 게임 체인저 현상일 뿐만 아니라 LLM 연구 분야에서 선구적인 한 걸음을 의미합니다. 첫째, Mamba와 Transformer 아키텍처를 성공적으로 융합하여 두 가지가 공생자처럼 함께 작동하도록 하여, 그 조합이 개별 부분보다 훨씬 더 강력하다는 것이 밝혀졌습니다. 그 위에, 이 텍스트는 기존 SSM-Transformer의 힘과 속도와 새로운 컨텍스트에서 더 잘 작동하는 능력을 결합한 하이브리드 SSM-Transformer 버전을 소개합니다.

그러나 AI21의 제품 담당 부사장인 Dagan은 Jamba의 혼합 아키텍처 구조를 최전선에 유지하며 놀랍게도 표현했습니다. 그는 Jamba의 민첩성이 방대한 볼륨을 가진 사용 사례의 빠른 전달을 가능하게 하며 실시간 속도를 지원하여 심지어 중요한 사용 사례의 출시를 가속화한다고 설명했습니다.

오픈 소스 협력

Apache 2.0 라이선스로 Jamba의 오픈 웨이트 릴리스는 AI21이 오픈 소스 커뮤니티에서 이러한 커미션을 구현할 수 있음을 의미합니다. AI21은 추가 기여와 아이디어를 장려함으로써 새로운 진전이 촉진될 수 있는 환경을 제공하는 데 전념하고 있습니다.

NVIDIA GPU 파이프라인을 NIM 추론 마이크로서비스로 캡슐화하면 Jamba 접근성이 간소화되어 기업 애플리케이션을 지원합니다. 인간화: 마찰 없는 통합은 Jampa의 애플리케이션을 거의 모든 일상적인 시나리오에서 업그레이드하면서 빠르고 문제 없는 배포를 가능하게 합니다.

AI21의 Jamba 릴리스는 기업 AI 분야에서 중요한 마일스톤을 의미합니다. Jamba는 혁신적인 하이브리드 아키텍처, 비교할 수 없는 확장성 및 exceptional 모델 통합 기능을 제공하여 언어 모델 산업을 변화시킬 준비가 되어 있습니다. 따라서 고객은 이전에 가능했던 것보다 더 쉽고 빠르게 어려운 언어 작업을 수행할 수 있게 됩니다.

AI21은 또한 NVIDIA와 같은 선도적인 AI 기업들과의 오픈 소스 협력 및 비즈니스 파트너십을 보여주었으며, 이는 기술 발전의 속도를 높이고 다양한 분야에서 고효율 AI 솔루션의 채택을 증가시키려는 헌신을 더욱 입증합니다.

Jamba는 언어 처리와 관련된 더 넓은 AI 풍경 내에서 자신의 위치를 확고히 하고 있으므로, 그 영향은 전통적인 언어 처리 플랫폼의 범위를 넘어 AI 기반 비즈니스 솔루션의 새로운 질서를 도입하기 위해 널리 느껴질 것입니다.