Небольшие языковые модели (SLM) считаются следующим прорывом в области искусственного интеллекта

В то время как компании вкладывают огромные средства в большие языковые модели (LLM), некоторые эксперты в области искусственного интеллекта считают, что следующим прорывом станут малые языковые модели (SLM).

Это происходит на фоне продолжающегося роста активности в отрасли в преддверии праздничного сезона, когда технологические компании вкладывают больше средств в разработку своих технологий.

Будущее за небольшими языковыми моделями

Такие компании, как xAI, возглавляемая мультимиллиардером Илоном Маском, смогли привлечь дополнительные 5 миллиардов долларов от Andreessen Horowitz, Qatar Investment Authority, Sequoia и Valor Equity Partners, а Amazon инвестировала еще 4 миллиарда долларов в Anthropic, конкурента OpenAI.

В то время как эти крупные технологические компании и другие вкладывают миллиарды долларов в разработку масштабных моделей обработки данных для решения множества различных задач, реальность искусственного интеллекта такова, что универсального решения не существует, поскольку для бизнеса необходимы модели, специфичные для конкретных задач.

Как заявил генеральный директор AWS Мэтт Гарман в пресс-релизе о расширении партнерства и инвестиций, уже наблюдается огромный отклик со стороны клиентов AWS, разрабатывающих генеративный искусственный интеллект на базе Anthropic.

Для большинства компаний LLM-технологии по-прежнему остаются предпочтительным выбором для определенных проектов, но для других этот выбор может быть дорогостоящим с точки зрения затрат, энергии и вычислительных ресурсов.

Стивен Макмиллан,dent и генеральный директор Teradata, предложивший альтернативный путь для некоторых предприятий, также придерживается иного мнения. Он уверен, что будущее за системами управления жизненным циклом продукции (SLM).

«Заглядывая в будущее, мы считаем, что малые и средние языковые модели, а также контролируемые среды, такие как предметно-ориентированные LLM-модели, обеспечат гораздо лучшие решения»

~ Макмиллан

Системы управления языковыми функциями (SLM) выдают индивидуальные результаты для конкретных типов данных, поскольку языковые модели специально обучены для этого. Поскольку данные, генерируемые SLM, хранятся внутри системы, языковые модели, следовательно, обучаются на потенциально конфиденциальных данных.

Поскольку LLM-модели потребляют много энергии, версии на малых языках обучаются таким образом, чтобы масштабировать как вычислительные ресурсы, так и энергопотребление в соответствии с реальными потребностями проекта. Благодаря таким корректировкам, SLM-модели оказываются более эффективными и экономичными, чем существующие большие модели.

Для пользователей, желающих использовать ИИ для получения конкретных знаний, существует вариант специализированных программ , поскольку они не предоставляют широких знаний. ИИ обучается глубокому пониманию только одной категории информации и более точному реагированию, например, на вопрос «кадр-менеджер по маркетингу» или «финансовый директор» в данной области.

Почему системы управления жизненным циклом материалов являются предпочтительным вариантом

Согласно данным Ассоциации специалистов по анализу данных (ADaSci), для полной разработки системы управления питанием (SLM) с 7 миллиардами параметров для миллиона пользователей потребуется всего 55,1 МВт·ч (мегаватт-часов).

ADaSci выяснила, что обучение GPT-3 с использованием 175 миллиардов параметров потребило примерно 1287 МВт·ч электроэнергии, и эта цифра не включает электроэнергию, потребляемую при официальном вводе системы в эксплуатацию. Таким образом, SLM потребляет примерно 5% энергии, потребляемой при обучении LLM.

Крупные модели обычно запускаются на облачных компьютерах, поскольку они используют больше вычислительной мощности, чем когда-либо будет доступно на отдельном устройстве. Это приводит к сложностям для компаний, поскольку они теряют контроль над своей информацией при ее перемещении в облако и замедляют отклик при передаче данных через интернет.

В будущем внедрение ИИ в бизнесе не будет универсальным решением, поскольку в центре внимания будет эффективность и выбор наилучшего и наименее затратного инструмента для выполнения задач, что означает выбор модели, подходящей для каждого проекта.

Это будет сделано для всех моделей, будь то универсальная модель LLM или более мелкие и специализированные модели LLM, в зависимости от того, какая модель обеспечит лучшие результаты, потребует меньше ресурсов и уменьшит необходимость миграции данных в облако.

На следующем этапе ИИ будет играть жизненно важную роль в принятии бизнес-решений, поскольку общественность высоко доверяет ответам, генерируемым ИИ.

«Когда речь заходит об обучении моделей искусственного интеллекта, они должны строиться на основе качественных данных»

~ Макмиллан

«В этом и заключается наша главная задача: предоставлять надежный набор данных, а затем обеспечивать возможности и аналитику, чтобы клиенты и их заказчики могли доверять результатам», — добавил Макмиллан.

В условиях высокого спроса на эффективность и точность в мире, небольшие и специализированные магистерские программы предлагают еще один вариант получения результатов, на которые могут полагаться компании и широкая общественность.