Меньшие модели ИИ превосходят большие по эффективности, показывает исследование Google

Среди всех исследований, пытающихся систематизировать область искусственного интеллекта (ИИ) и размышляющих о том, есть ли момент, когда меньшие модели ИИ могут превзойти большие по эффективности, исследование Google Research и Университета Джонса Хопкинса наконец опровергло этот аргумент. Оно показало, что в контексте генерации изображений меньшие модели, как правило, работают лучше, чем их более крупные аналоги. 2 мая исследование, возглавляемое Кангфу Мэй и Чжэнчжуном Ту, раскрыло свойства масштабирования латентных диффузионных моделей (LDM). Они обнаружили, что изменения разрешения выходного изображения не вносят значительных изменений, однако увеличение размера модели может привести к существенным улучшениям. 

Переосмысление эффективности моделей ИИ

В исследованиях использовались LDM от 39 миллионов до 5 миллиардов параметров с вариациями для задач, включая генерацию изображений по тексту, суперразрешение и суперразрешение с учетом субъекта, в то время как участники проходили тщательно проработанные и оцененные процессы обучения и оценки. Доказанный факт того, что меньшие модели успешно справляются со своими задачами, даже если они не больше сравниваемых, показывает, что при ограниченных вычислениях меньшие модели могут даже превосходить большие.

Исследования, проведенные в этом исследовании, оказались сложными. Первый момент, заслуживающий внимания, заключается в том, что маленькие модели высокопроизводительны и обеспечивают такую же или более высокую эффективность выборки во всех типах диффузионных сэмплеров, даже после дистилляции модели. 

Эта устойчивость объясняет, что масштаб чипа менее совершенных моделей является неотъемлемой частью их достоинств и не является прямым следствием алгоритма или метода обучения. Тем не менее, это также признает, что большие модели могут быть полезны для тех же целей, особенно в случаях, когда проблемы распределения ресурсов (такие как вычислительная мощность) не возникают, поскольку они могут создавать изображения с лучшей детализацией.

Ключевые выводы и последствия

Такие открытия не только революционны для текущего технологического пространства, но и имеют значительные последствия для развития ИИ. Они играют важную роль в том, как разрабатываются системы ИИ, позволяя более доступную, мощную и ресурсосберегающую генерацию изображений в высоких мощностях. Это особенно важно в эпоху, когда усиливается призыв к развитию искусственного интеллекта с открытостью и доступностью, чтобы он был доступен разработчикам и, в конечном итоге, пользователям.

Это соответствует определенной тенденции в обществе ИИ, которая преобладает в настоящее время, и это предоставляет доказательства превосходства меньших моделей, таких как LLaMa и Falcon, по сравнению с остальными в различных задачах. 

Тенденция к применению открытого исходного кода, который эффективен с точки зрения скорости и экономии энергии устройства, будет повышать уровень демократии в мире ИИ, позволяя системе работать без требования чувствительности к продвинутым компьютерным системам. Последствия такого рода исследований довольно потрясающи, что может привести к полному изменению способа применения ИИ в повседневных технологиях и сделать высокоуровневые решения ИИ доступными для дополнительных пользователей.

Сдвиг парадигмы

Исследования Google Research и Университета Джонса Хопкинса теперь создали критическую точку в развитии ИИ, ставя под вопрос текущие подходы к разработке ИИ и направляя практиков на развертывание более дешевых и экологически чистых процессов ИИ. 

Сообщество ИИ движется в область исследований микромодели, это исследование также не суммирует все текущие понимания перспективы, но также предоставляет пространство для творческих инноваций относительно эффективности, производительности и практичности создания систем ИИ.

Это развитие, следовательно, не только сдвиг парадигмы в развитии технологии ИИ, но и движение индустрии к инклюзивности и доступности в технологиях. Среди вещей, которые присутствуют в ИИ, развертывание моделей на myriad устройств, которые могут работать эффективно и точно, является одной из немногих вещей, которые могут сделать ИИ иметь гораздо более широкий спектр приложений, когда эти вещи попадут на рынок. 

Новизна этого исследования проявляется в свойствах масштабирования модели, которые включают компромиссы между размером модели и производительностью, что делает их прорывным исследованием, обещающим более эффективное и доступное будущее ИИ.