Genom att driva en enda affärslösning som AI21 samtidigt som den slår alla kända världsmodeller när det gäller produktivitet, blir Jambo den första modellen som är tillgänglig på en Mamba-baserad metod i produktionsklass. Med integrationen av Mamba SSM-teknologi och elementen i en gammal transformatorarkitektur står Jamba för en ny vision när det gäller att designa den större språkmodellen ( LLM ).
Revolutionerande LLMs
Jambas utseende indikerar ett eraskifte när det gäller LLM:er, som effektivt hanterar begränsningarna för de vanliga SSM- och Transformers-typerna av arkitekturer. Med en kontextfönsterstorlek på upp till 256K anses Jamba ha en stor fördel gentemot andra modeller i liknande regioner på olika riktmärken, vilket sätter den nya ribban som mått på bästa effektivitet och prestanda.
Jambas arkitektur har många aspekter som sätter upp den som ett hybridsystem av Transformers, Mambas och en blandning av experter (MoE) som agerar tillsammans i synergi. Denna integration implementerar optimering av minnesanvändning tillsammans med genomströmning, som är huvudfokus för en storskalig språkuppgift, och tänjer på gränsen för vilken prestanda som kan uppnås.
Att vara skalbar är Jambas DNA, vilket innebär att den kan hantera över 140 000 sammanhang med bara en GPU. Denna skalbarhet kan hålla verksamhet och engagemang på armlängds avstånd, hjälpa till med lärande och utforskning, generera ny kunskap och främja innovation inom AI-gemenskapen.
Milstolpeprestationer
Utrullningen av Jamba markerar inte bara ett spelförändrande fenomen utan också ett banbrytande steg framåt inom området LLM-forskning. För det första smälter den ihop Mamba- och Transformer-arkitekturen på ett sådant sätt att de två kommer att arbeta tillsammans som symbioter, vars kombination visar sig vara verkligt kraftfullare än de individuella halvorna. Utöver det introducerar texten en hybrid SSM-Transformer-version som kombinerar kraften och hastigheten hos andra befintliga SSM-Transformers med förmågan att fungera bättre i nya sammanhang.
Dagan, däremot, VP of product på AI21, uttryckte sig otroligt och höll Jambas blandade arkitekturstruktur i framkant. Han förklarade hur Jambas smidighet möjliggör snabb leverans av användningsfall med enorma volymer och stödjer snabbhet i realtid, vilket till och med påskyndar lanseringen av kritiska användningsfall.
Samarbete med öppen källkod
Jambas öppna viktutgåva med en Apache 2.0-licens innebär att AI21 kan implementera denna typ av kommission i öppen källkodsgemenskap. AI21 har åtagit sig att tillhandahålla en miljö där nya framsteg kan främjas genom att uppmuntra ytterligare bidrag och idéer.
Att kapsla in en NVIDIA GPU-pipeline som en NIM-inferensmikrotjänst förenklar den Jamba-tillgänglighet som driver företagsapplikationer. Humanisering: Den friktionsfria integrationen möjliggör snabb och problemfri driftsättning samtidigt som Jampas applikationer uppgraderas i praktiskt taget alla dagliga scenarier.
Lanseringen av AI21 av Jamba har inneburit en viktig milstolpe inom företags AI-området. Jamba är redo att förvandla språkmodellindustrin genom att erbjuda en innovativ hybridarkitektur, oöverträffad skalbarhet och exceptionella funktioner för modellintegrering. Det ger därför kunderna möjlighet att utföra sina utmanande språkuppgifter enkelt och snabbare än vad som tidigare varit möjligt.
AI21 har också visat sitt stöd för samarbete med öppen källkod och affärspartnerskap med ledande AI-företag som NVIDIA, vilket ytterligare visar sitt engagemang för att driva på takten i tekniska framsteg och öka användningen av högeffektiva AI-lösningar inom olika områden.
Jamba ser dock till sin plats inom det bredare AI-landskapet när det relaterar till språkbehandling; sålunda kommer effekten att märkas långt utanför räckvidden för traditionella språkbehandlingsplattformar för att inleda en ny ordning av AI-drivna affärslösningar.
