AI21과 같은 원스톱 상점 비즈니스 솔루션을 강화하는 동시에 생산성 측면에서 알려진 모든 세계 모델을 능가하는 Jambo는 생산 등급 Mamba 기반 방법으로 사용할 수 있는 최초의 모델이 되었습니다. Mamba SSM 기술과 기존 Transformer 아키텍처의 요소가 통합된 Jamba는 더 큰 언어 모델( LLM ) 설계에 대한 새로운 비전을 제시합니다.
LLM의 혁신
Jamba의 등장은 일반 SSM 및 Transformers 유형 아키텍처의 제약 조건을 효율적으로 처리하는 LLM의 경우 시대 전환을 나타냅니다. 최대 256K의 컨텍스트 창 크기를 조사한 Jamba는 다양한 벤치마크에서 유사한 지역의 다른 모델보다 큰 우위를 점하는 것으로 나타나 최고의 효율성과 성능에 대한 척도로 새로운 기준을 설정했습니다.
Jamba의 아키텍처에는 이를 Transformers, Mamba 및 시너지 효과를 내는 전문가 혼합(MoE)의 하이브리드 시스템으로 설정하는 많은 측면이 있습니다. 이 통합은 대규모 언어 작업의 주요 초점인 처리량과 함께 메모리 활용 최적화를 구현하고 도달할 수 있는 성능의 한계를 뛰어넘습니다.
확장성은 Jamba의 DNA입니다. 즉, 단 하나의 GPU를 사용하여 140K 이상의 컨텍스트를 처리할 수 있다는 의미입니다. 이러한 확장성은 AI 커뮤니티 내에서 운영 및 참여를 유지하고 학습 및 탐색을 지원하고 새로운 지식을 생성하며 혁신을 촉진할 수 있습니다.
마일스톤 성과
Jamba 출시는 판도를 바꾸는 현상일 뿐만 아니라 LLM 연구 분야에서 선구적인 진전을 의미합니다. 첫째, Mamba와 Transformer 아키텍처를 성공적으로 결합하여 두 아키텍처가 공생체처럼 함께 작동하도록 하며, 두 아키텍처의 조합은 개별 절반보다 훨씬 더 강력하다는 것이 밝혀졌습니다. 또한 이 텍스트에서는 기존의 다른 SSM-Transformer의 성능과 속도를 새로운 상황에서 더 잘 작동할 수 있는 기능과 결합한 하이브리드 SSM-Transformer 버전을 소개합니다.
그러나 AI21의 제품 담당 부사장인 Dagan은 놀라울 정도로 표현했으며 Jamba의 혼합 아키텍처 구조를 최전선에 유지했습니다. 그는 Jamba의 민첩성을 통해 대량의 사용 사례를 빠르게 전달하고 실시간 신속성을 지원하며 중요한 사용 사례의 출시를 가속화하는 방법을 설명했습니다.
오픈소스 협업
Apache 2.0 라이센스가 포함된 Jamba의 오픈 웨이트 릴리스는 AI21이 오픈 소스 커뮤니티에서 이러한 종류의 커미션을 구현할 수 있음을 의미합니다. AI21은 더 많은 기여와 아이디어를 장려함으로써 새로운 발전이 촉진될 수 있는 환경을 제공하기 위해 최선을 다하고 있습니다.
NVIDIA 캡슐화하면 엔터프라이즈 애플리케이션을 지원하는 Jamba 접근성이 단순화됩니다. 인간화: 마찰 없는 통합을 통해 거의 모든 일상 시나리오에서 Jampa의 애플리케이션을 업그레이드하는 동시에 빠르고 문제 없이 배포할 수 있습니다.
AI21의 Jamba 출시는 기업 AI 분야에서 중요한 이정표를 의미합니다. Jamba는 혁신적인 하이브리드 아키텍처, 탁월한 확장성 및 탁월한 모델 통합 기능을 제공하여 언어 모델 산업을 변화시킬 준비가 되어 있습니다. 따라서 고객은 이전보다 쉽고 빠르게 어려운 언어 작업을 수행할 수 있습니다.
AI21은 또한 NVIDIA와 같은 선도적인 AI 기업과의 오픈 소스 협업 및 비즈니스 파트너십에 대한 지원을 보여주었으며, 이를 통해 기술 발전 속도를 높이고 다양한 분야에서 고효율 AI 솔루션 채택을 늘리기 위한 헌신을 더욱 입증했습니다.
그러나 Jamba는 언어 처리와 관련하여 더 넓은 AI 환경 내에서 자신의 위치를 확인하고 있습니다. 따라서 그 영향은 기존 언어 처리 플랫폼의 범위를 훨씬 넘어 AI 기반 비즈니스 솔루션의 새로운 질서를 가져오는 것으로 느껴질 것입니다.
