Система ИИ нового поколения обещает беспрецедентную масштабируемость

Питая бизнес-решение «все в одном», такое как AI21, и превосходя все известные мировые модели по производительности, Jambo становится первой моделью, доступной на производственной основе метода Mamba. Благодаря интеграции технологии Mamba SSM и элементов старой архитектуры Transformer, Jamba представляет новое видение в проектировании больших языковых моделей (LLM).

Революция в LLM

Появление Jamba указывает на смену эпохи в случае LLM, которые эффективно справляются с ограничениями обычных архитектур SSM и Transformer. Выступая с размером окна контекста до 256K, Jamba, как видно, имеет большое преимущество перед другими моделями в аналогичных областях по различным бенчмаркам, устанавливая новую планку как меру лучшей эффективности и производительности.

Архитектура Jamba имеет много аспектов, которые делают ее гибридной системой Transformer, Mamba и смеси экспертов (MoE), действующих вместе в синергии. Эта интеграция реализует оптимизацию использования памяти вместе с пропускной способностью, что является основным фокусом крупномасштабных языковых задач, и расширяет пределы достижимой производительности.

Масштабируемость — это ДНК Jamba, что означает, что она может обрабатывать более 140K контекстов, используя только один GPU. Эта масштабируемость позволяет держать операции и взаимодействие на расстоянии, помогая обучению и исследованию, генерировать новые знания и способствовать инновациям в сообществе ИИ.

Вехи достижений

Запуск Jamba отмечает не только явление, меняющее игру, но и новаторский шаг вперед в области исследований LLM. Во-первых, он успешно объединяет архитектуру Mamba и Transformer таким образом, что они работают вместе как симбионты, и эта комбинация оказывается по-настоящему более мощной, чем отдельные части. Кроме того, текст вводит гибридную версию SSM-Transformer, которая сочетает в себе мощь и скорость других существующих SSM-Transformer с способностью лучше работать в новых контекстах.

Однако Дagan, вице-президент по продукту в AI21, выразил глубокое восхищение и сохранил гибридную архитектуру Jamba в центре внимания. Он объяснил, как гибкость Jamba позволяет быстро внедрять сценарии использования с большими объемами данных и поддерживает высокую скорость обработки в реальном времени, ускоряя запуск критически важных задач.

Открытое сотрудничество

Выпуск Jamba с открытыми весами под лицензией Apache 2.0 означает, что AI21 может реализовывать подобные инициативы в сообществе открытого исходного кода. AI21 стремится создать среду, где новые достижения будут развиваться благодаря поощрению дополнительных вкладов и идей.

Инкапсуляция конвейера NVIDIA GPU как микросервиса вывода NIM упрощает доступность Jamba, питающего корпоративные приложения. Гуманизация: Бесшовная интеграция позволяет быстрое и безпроблемное развертывание, а также обновление приложений Jampa практически во всех повседневных сценариях.

Выпуск Jamba компанией AI21 стал важной вехой в области корпоративного искусственного интеллекта. Jamba готова трансформировать индустрию языковых моделей, предлагая инновационную гибридную архитектуру, непревзойденную масштабируемость и исключительные возможности интеграции моделей. Таким образом, она предоставляет клиентам возможность легко и быстрее решать сложные языковые задачи, чем это было возможно ранее.

AI21 также продемонстрировала свою поддержку открытого сотрудничества и бизнес-партнерств с ведущими ИИ-компаниями, такими как NVIDIA, что еще раз подтверждает ее приверженность ускорению технологического прогресса и расширению внедрения высокоэффективных ИИ-решений в различных сферах.

Jamba укрепляет свои позиции в более широком ландшафте ИИ в области обработки языка, поэтому ее влияние будет ощущаться далеко за пределами традиционных платформ обработки языка, открывая новую эру бизнес-решений на базе ИИ.