Выход Llama 3 запланирован на следующий месяц

Компания Meta наконец подтвердила выпуск Llama 3. На мероприятии в Лондоне Meta предоставила некоторые подробности и сроки выпуска своей продвинутой модели искусственного интеллекта. Руководители Meta заявили, что вскоре выпустят следующую версию своей модели обработки больших языков с открытым исходным кодом, как сообщает Techcrunch.

Ожидается, что Meta сначала выпустит уменьшенную версию Llama 3, а затем и полную модель с открытым исходным кодом, утверждает The Information. Но зачем вообще нужна уменьшенная версия? Мы считаем, что утверждение The Information имеет смысл, поскольку это даст возможность подогреть интерес к возможностям полной модели.

Что нам известно о «Ламе 3» и её выходе

Выпуск Llama 3 бросит вызов доминированию гиганта LLM — GPT 4, поскольку ожидается, что это будет самая передовая LLM в категории открытого исходного кода, и она будет доступна в различных вариантах, как и Llama 2. Ник Клегг,dent Meta по глобальным вопросам, заявил на мероприятии: 

«В течение следующего месяца, а точнее, даже раньше, и, будем надеяться, в очень короткие сроки, мы планируем начать внедрение нашей новой линейки базовых моделей следующего поколения — Llama 3»

Заявление Клегга явно намекает на наличие различных версий «Ламы 3», поскольку он также добавил:

«В течение этого года, начиная с очень скоро, будет выпущено несколько различных моделей с разными возможностями и универсальностью»

Источник: Techcrunch

Поговорим о заявлении The Information; оно кажется вполне правдоподобным, не так ли? Итак, теперь нам известно, что Llama 3 будет выпускаться в разных версиях и размерах, от маленьких до очень больших, полностью функциональных моделей, начиная от Haiku, Claude и Gemini Nano и заканчивая гигантами вроде GPT 4. Мы не знаем больше, но точно знаем, что она будет с открытым исходным кодом, как Llama 2 и Multimodel, и сможет понимать текст наряду с визуальными эффектами. 

Критики сравнивают модели с открытым исходным кодом и закрытые модели

Llama — это модель с открытым исходным кодом, но она не висит на волоске. Мы знаем, что Meta пользуетсяtronподдержкой и располагает необходимыми ресурсами, а Meta хочет использовать потенциал сторонних разработчиков и исследователей. Но, несмотря на все предпочтения в отношении моделей с открытым исходным кодом, некоторые критики по-прежнему скептически относятся к их эффективности по сравнению с закрытыми частными моделями, такими как GPT 4. У них есть свои причины для такого мнения. 

Дискуссия начинается с вопроса о ресурсах для создания гигантских наборов данных для обучения моделей, утверждая, что такие модели, как ChatGPT, имеют огромные структуры данных с данными, размеченными людьми. Конечно, ни одна машина пока не может сравниться с возможностями человека, но приближаемся ли мы к этому? Возможно, да, а возможно, и нет в ближайшие два года. Другая причина — доступность. Хотя это и справедливое замечание, мы видели в истории технологий, как небольшие стартапы иногда превосходили гигантские корпорации по некоторым ключевым функциям благодаря своим готовым решениям. Но реальность такова, что в OpenAI работают инженеры с зарплатами, превышающими миллион долларов.

Ещё один аргумент, который они приводят, касается командной структуры: утверждается, что децентрализованный подход с открытым исходным кодом не может сравниться с достижениями централизованных команд. Публичная облачная инфраструктура также не может сравниться с теми, которыми могут похвастаться OpenAI и Google, что также препятствует командам, работающим с открытым исходным кодом, вносить постепенные улучшения быстрыми темпами. В совокупности это достаточные причины, которые говорят против систем с открытым исходным кодом. Но, как мы знаем, несмотря на то, что Llama является проектом с открытым исходным кодом, за ним стоит Meta, поддерживающая его, выделяя огромные ресурсы. 

Мета-инвестиции в графические процессоры

Ещё в январе Марк Цукерберг заявил, что они создают масштабную вычислительную инфраструктуру с 350 тысячами новых графических процессоров H100, а если учесть и другие графические процессоры, то их будет почти 600 тысяч. Марк сказал об этом в видеоролике. Это будет намного больше вычислительной мощности, чем у OpenAI, которую они использовали для обучения GPT 4. Инвестиции в ИИ исчисляются миллиардами долларов.

Llama 3 будет использоваться в качестве основы для голосового помощника Meta AI, а также будет интегрирована в целый ряд продуктов во всей линейке приложений компании. Сможет ли Llama 3 бросить вызов доминированию GPT 4? Если посмотреть на tracеё предшественницы, Llama 2, то можно увидеть, что она стала основой для самых передовых LLM-систем с открытым исходным кодом, таких как Mistral из Франции и ещё нескольких, которые были созданы путем её доработки и оптимизации.

Некоторые из них даже превзошли GPT 3.5 по производительности, поэтому можно предположить, что Llama 3 с её расширенными возможностями будет использоваться для новых продуктов LLM, которые будут соответствовать или превосходить производительность GPT 4 при сниженных и общих затратах на обучение, что позволит привлечь больше людей. 

Конкуренция будет очень жесткой: сообщество разработчиков открытого программного обеспечения будет стремиться к инновациям, используя LLama 3 и разрабатывая собственные решения, как и прежде, а OpenAI также выпустит GPT 5 в ближайшие несколько месяцев. Мы с нетерпением ждем предстоящего интересного периода.