Llama 3 запланирована к выпуску в следующем месяце

Meta наконец подтвердила выпуск Llama 3. На мероприятии в Лондоне Meta предоставила некоторые детали и временные рамки выпуска своей продвинутой модели ИИ. Руководители Meta заявили, что вскоре выпустят следующую версию своей большой языковой модели с открытым исходным кодом, как сообщает Techcrunch.

Ожидается, что Meta сначала выпустит небольшую версию Llama 3, а полную модель с открытым исходным кодом выпустит позже, утверждает The Information. Но почему сначала небольшая версия? Мы считаем, что утверждение The Information имеет смысл, так как это создаст возможность для формирования ажиотажа вокруг возможностей полной модели.

Что нам известно о Llama 3 и ее выпуске

Выпуск Llama 3 бросит вызов доминированию гиганта LLM GPT 4, так как ожидается, что она станет самой продвинутой LLM в категории с открытым исходным кодом и будет доступна в различных моделях, как и Llama 2. Ник Клегг, президент Meta по глобальным вопросам, заявил на мероприятии: 

«В течение следующего месяца, на самом деле, скорее всего, даже раньше, и мы надеемся в очень короткий срок, мы начнем развертывание нашего нового набора фундаментальных моделей следующего поколения, Llama 3».

Заявление Клегга ясно намекает на наличие различных версий Llama 3, так как он далее добавил:

«В течение этого года будет выпущено несколько различных моделей с разными возможностями и универсальностью, начиная действительно очень скоро».

источник: Techcrunch

Что касается утверждения The Information, оно кажется правдоподобным, не так ли? Итак, теперь мы знаем, что Llama 3 будет выходить в различных версиях и размерах, от маленьких до очень больших, полностью функциональных моделей, сопоставимых с Haiku, Claude и Gemini Nano, до гигантов вроде GPT 4. Мы не знаем больше, но точно знаем, что она будет с открытым исходным кодом, как Llama 2 и Multimodel, а также будет обладать способностью понимать текст вместе с визуальными данными. 

Критики сравнивают открытые и закрытые модели

Llama — это модель с открытым исходным кодом, но она не висит в воздухе. Мы знаем, что за ней стоит сильная поддержка Meta и ее ресурсов, и Meta хочет привлечь сторонних разработчиков и исследователей. Но, несмотря на все преимущества моделей с открытым исходным кодом, некоторые критики все еще скептически относятся к их компетенции по сравнению с закрытыми частными моделями, такими как GPT 4. У них есть свои причины для такого мнения. 

Аргумент начинается с ресурсов, необходимых для создания огромных наборов данных для обучения моделей, утверждая, что такие модели, как ChatGPT, имеют огромные структурированные наборы данных с данными, размеченными людьми. Конечно, ни одна машина пока не может сравниться с человеческими возможностями, но приближаемся ли мы к этому? Возможно, да, а возможно, и нет в течение следующих двух лет. Другая причина — доступность. Хотя это справедливый пункт, мы видели в истории технологий, что небольшие стартапы иногда побеждают крупные корпорации в некоторых ключевых функциях своими нестандартными решениями. Но реальность такова, что OpenAI — это дом для инженеров с зарплатами, превышающими миллион долларов.

Еще один аргумент касается структуры команды: утверждается, что децентрализованный подход с открытым исходным кодом не может сравниться с достижениями централизованных команд. Публичная облачная инфраструктура также не может сравниться с той, которой гордятся OpenAI и Google, что также препятствует командам с открытым исходным кодом вносить постепенные улучшения с высокой скоростью. В совокупности это достаточно причин, говорящих против систем с открытым исходным кодом. Но, как мы знаем, несмотря на то, что Llama имеет открытый исходный код, за ней стоит Meta, поддерживающая ее выделением огромных ресурсов. 

Meta инвестирует в графические процессоры

Еще в январе Марк Цукерберг сказал, что они строят массивную вычислительную инфраструктуру с новыми 350 тысячами GPU H100, и если включить другие GPU, то на борту будет почти 600 тысяч H100. Марк сказал это в видео. Это будет гораздо больше вычислительной мощности, чем у OpenAI, которое использовалось для обучения GPT 4. Инвестиции составляют миллиарды долларов только для ИИ.

Llama 3 будет питать ассистент Meta AI, а также будет интегрирован в ряд продуктов во всем ассортименте приложений компании. Сможет ли Llama 3 бросить вызов доминированию GPT 4? Судя по послужному списку его предшественника, Llama 2 стала основой для самых продвинутых открытых больших языковых моделей (LLM), таких как Mistral из Франции и некоторых других, которые были созданы путем тонкой настройки и оптимизации.

Некоторые из них даже превзошли GPT 3.5 по производительности, поэтому мы можем предположить, что Llama 3 со своими продвинутыми возможностями будет использоваться для новых продуктов LLM, которые будут соответствовать или превосходить производительность GPT 4 при общих и сниженных затратах на обучение, что сделает возможным участие большего числа людей. 

Конкуренция будет гораздо жестче, так как сообщество с открытым исходным кодом попытается инновационно развить Llama 3 и предложить собственные решения, как и раньше, а OpenAI также выпустит GPT 5 в ближайшие несколько месяцев. Мы с трепетом ждем интересного времени впереди.