次世代AIシステムはdentのない拡張性を約束

AI21のようなワンストップビジネスソリューションを支えるJamboは、生産性の点で既存のあらゆるモデルを凌駕し、実用グレードのMambaベースの手法で利用できる最初のモデルとなります。Mamba SSMテクノロジーと従来のTransformerアーキテクチャの要素を統合することで、Jambaは大規模言語モデル（LLM）の設計における新たなビジョンを提示します。

LLMの革命

Jambaの登場は、LLMの時代における転換期を示唆しています。LLMは、通常のSSMやTransformerタイプのアーキテクチャの制約を効率的に処理します。コンテキストウィンドウサイズを最大256Kまで拡張すると、Jambaは様々なベンチマークにおいて、同程度の領域で他のモデルを大きく上回り、最高の効率とパフォーマンスの尺度として新たな基準を確立しました。

Jambaのアーキテクチャは、Transformer、Mamba、そして相乗効果を発揮する複数のエキスパート（MoE）を組み合わせたハイブリッドシステムとして多くの側面を備えています。この統合により、大規模言語タスクの主要な焦点であるスループットとメモリ使用率の最適化が実現され、パフォーマンスの限界を押し広げます。

スケーラビリティはJambaのDNAであり、1つのGPUだけで14万以上のコンテキストを処理できます。このスケーラビリティにより、運用と関与を最小限に留め、学習と探索を促進し、新たな知識を生み出し、AIコミュニティにおけるイノベーションを促進します。

マイルストーン達成

Jambaの導入は、画期的な現象であるだけでなく、LLM研究分野における先駆的な一歩でもあります。まず、MambaとTransformerアーキテクチャを巧みに融合させ、両者がまるで共生関係にあるかのように連携することで、単体での効果よりも強力であることが証明されました。さらに、本書では、既存のSSM-Transformerのパワーとスピードに加え、新たなコンテキストでより効果的に機能する能力を兼ね備えた、ハイブリッドSSM-Transformerバージョンも紹介しています。

しかし、AI21のプロダクト担当VPであるDagan氏は、Jambaの混合アーキテクチャ構造を常に最前線に据え、Jambaの俊敏性によって大規模なユースケースの迅速なデリバリーが可能になり、リアルタイムの迅速性もサポートされ、クリティカルなユースケースの立ち上げも加速されると説明しました。

オープンソースコラボレーション

JambaのApache 2.0ライセンスによるオープンウェイトリリースは、AI21がオープンソースコミュニティにおいてこの種の委託を実現できることを意味します。AI21は、さらなる貢献とアイデアを奨励することで、新たな進歩を促進できる環境を提供することに尽力しています。

カプセル化することで、 NVIDIA エンタープライズアプリケーションを支えるJambaへのアクセスが簡素化されます。人間中心設計：摩擦のない統合により、ほぼすべての日常的なシナリオでJampaアプリケーションのアップグレードを迅速かつ問題なく展開できます。

AI21によるJambaのリリースは、企業向けAI分野における重要なマイルストーンとなりました。Jambaは、革新的なハイブリッドアーキテクチャ、比類のないスケーラビリティ、そして卓越したモデル統合機能を提供することで、言語モデル業界に変革をもたらすでしょう。これにより、お客様はこれまで以上に容易かつ迅速に、困難な言語タスクに取り組むことができます。

AI21 は、オープンソースのコラボレーションや、NVIDIA のような大手 AI 企業とのビジネス パートナーシップへの支持も示しており、これは技術の進歩を加速させ、さまざまな分野での高効率 AI ソリューションの採用を増やすことへの AI21 の献身をさらに示すものです。

しかし、Jamba は、言語処理に関連する幅広い AI 環境の中での地位を確立しつつあり、その影響は従来の言語処理プラットフォームの範囲をはるかに超えて、AI を活用したビジネス ソリューションの新しい秩序を先導することになるでしょう。