Новичок Mixtral 8x7B бросает вызов ведущим моделям ИИ впечатляющей производительностью

В быстро меняющемся ландшафте искусственного интеллекта на сцене появился относительно новый игрок, вызвавший переполох в технологическом мире. Mixtral 8x7B, разработанный французской компанией искусственного интеллекта Mistral AI, привлекает внимание своим уникальным подходом и впечатляющими возможностями. В этой статье мы рассмотрим, что делает Mixtral 8x7B выдающимся и почему он вызывает такой ажиотаж в сообществе ИИ.

Mixtral 8x7B: Переломный момент

Пока технологический мир был захвачен обновлением Google Gemini для Bard, Mixtral 8x7B тихо вошел в игру. Что отличает его, так это использование смеси экспертов (Mixture of Experts, MoE) для генерации ответов, похожих на человеческие. Этот подход существенно отличается от моделей, таких как ChatGPT и Google Bard. Примечательно, что Mixtral 8x7B обладает впечатляющей моделью с 46,7 миллиарда параметров, но требует лишь доли аппаратных ресурсов.

Производительность Mixtral 8x7B не следует недооценивать. Она уверенно сопоставима с моделью GPT-3.5 от ChatGPT или даже превосходит её, а также модель Llama 2 70B от Meta. Эта модель с открытым исходным кодом лицензирована под Apache 2.0, что позволяет любому получить к ней доступ и использовать её. Она не ограничена одним языком, так как может беспрепятственно работать на английском, французском, итальянском, немецком и испанском языках. Кроме того, она способна генерировать код.

Познакомьтесь с Mistral AI — мозгом, стоящим за революцией ИИ

Mistral AI, разработчик Mixtral, — это французская компания в области искусственного интеллекта, основанная исследователями с предыдущим опытом работы как в Meta, так и в Google. В этом году Mistral AI произвела фурор, привлекши около 450 миллионов евро финансирования. Выпуск Mixtral 8x7B, их новейшей модели, был далек от традиционного: ссылка на торрент-магнит была опубликована на Twitter.

Преимущество MoE

Mixtral использует архитектуру MoE для обработки входящих токенов, распределяя их между различными экспертами в системе. Каждый эксперт по сути является нейронной сетью, и Mixtral 8x7B имеет восемь таких экспертов. Эта архитектура позволяет иерархические MoE, где эксперт сам может быть другим MoE. Когда запрос отправляется в Mixtral 8x7B, маршрутизатор выбирает наиболее эффективного эксперта для обработки каждого токена. Интересно, что на каждый токен выбираются два эксперта, и их выходные данные объединяются.

У MoE есть свои сильные и слабые стороны. Они преуспевают в вычислительной эффективности во время предварительного обучения, но могут подвергаться переобучению (overfitting) при тонкой настройке. Переобучение в этом контексте означает, что модели слишком сильно полагаются на обучающие данные и воспроизводят их дословно в ответах. С другой стороны, MoE обеспечивают более быстрое время вывода (инференса), поскольку во время вывода используется только подмножество экспертов. 

Однако им все еще требуется достаточный объем оперативной памяти для размещения модели с 47 миллиардами параметров. 47 миллиардов параметров отличаются от ожидаемых 56 миллиардов, поскольку многие параметры разделяются между MoE, и не все 7 миллиардов параметров в каждом эксперте умножаются на восемь.

Дружелюбный к пользователю и доступный

Одной из заметных особенностей Mixtral 8x7B является удобство использования. Она полностью настраивается пользователем и доступна для развертывания любому, у кого есть достаточно мощный компьютер. Пользователи могут запускать её локально с помощью LM Studio, обеспечивая оптимальный контроль над поведением модели. Кроме того, можно включить защитные механизмы (guardrails) для защиты от потенциально вредоносного контента, хотя по умолчанию они не активированы. Это обеспечивает безопасный и ответственный опыт взаимодействия с ИИ.

Для тех, кто предпочитает не запускать Mixtral локально или не имеет необходимых аппаратных требований, она доступна на Hugging Face. Реализация Hugging Face поставляется с защитными механизмами по умолчанию, предлагая опыт, аналогичный ChatGPT 3.5 по производительности и диапазону обрабатываемых запросов. Mixtral 8x7B не специализируется на конкретной области; скорее, это универсальная и всесторонняя большая языковая модель.

Будущее генеративного ИИ

По мере дальнейшего развития технологий 2023 год стал свидетелем всплеска моделей генеративного ИИ. Ожидается, что ландшафт будет продолжать развиваться в следующем году, с возможностью выпуска большего количества моделей и непрерывных улучшений. Поскольку ходят слухи о OpenAI и возможном появлении искусственного общего интеллекта (AGI), мир ИИ готов к еще более захватывающим developments в ближайшем будущем. Mixtral станет частью этого будущего.