Исследование Google показало, что более компактные модели ИИ превосходят более крупные по эффективности

Среди всех исследований, пытавшихся систематизировать область искусственного интеллекта (ИИ) и рассматривавших вопрос о том, существует ли предел, при котором меньшие модели ИИ могут превзойти большие по эффективности, исследование Google Research и Университета Джона Хопкинса наконец-то опровергло этот аргумент. Оно показало, что в контексте генерации изображений меньшие модели, как правило, работают лучше, чем их большие аналоги. 2 мая исследование, проведенное Канфу Мэем и Чжэнчжуном Ту, выявило масштабируемые свойства моделей скрытой диффузии (LDM). Они обнаружили, что изменения разрешения выходного изображения не приводят к существенным изменениям, однако увеличение размера модели может привести к значительным улучшениям. 

Переосмысление эффективности моделей искусственного интеллекта

В исследованиях использовались модели LDM с количеством параметров от 39 миллионов до 5 миллиардов, предназначенные для решения различных задач, включая генерацию текста в изображения, сверхразрешение и сверхразрешение, определяемое субъектом. Участники проходили тщательно отработанные и оцененные процессы обучения и тестирования. Доказанный факт, что меньшие модели более чем достойно показывают себя, даже если они не превышают по размерам сравниваемые, свидетельствует о том, что при ограниченных вычислительных ресурсах меньшие модели могут даже превосходить большие.

Проведенные в рамках данного исследования исследования оказались сложными. Прежде всего, следует отметить, что небольшие модели демонстрируют высокую эффективность и обеспечивают одинаковую или высокую эффективность отбора проб для всех типов диффузионных пробоотборников, даже после проведения дистилляции модели. 

Таким образом, эта устойчивость объясняет, что масштаб чипа у менее совершенных моделей является неотъемлемой частью их достоинств и не является прямым следствием алгоритма или метода обучения. Тем не менее, она также признает, что более крупные модели могут быть полезны для той же цели, особенно в случаях, когда проблемы распределения ресурсов (таких как вычислительная мощность) не возникают, поскольку они могут создавать изображения с лучшей детализацией.

Основные выводы и последствия

Подобные открытия не только революционны для современного технологического пространства, но и имеют значительные последствия для развития ИИ. Они играют важную роль в развитии систем ИИ, позволяющих создавать более доступные, мощные и ресурсосберегающие системы обработки изображений на высоком уровне. Это особенно важно в эпоху, когда усиливается призыв к развитию искусственного интеллекта с учетом открытости и доступности как для разработчиков, так и для конечных пользователей.

Это соответствует определенной тенденции, преобладающей в современном обществе искусственного интеллекта, и свидетельствует о превосходстве более компактных моделей, таких как LLaMa и Falcon, по сравнению с остальными в решении различных задач. 

Тенденция к использованию открытого исходного кода, эффективного с точки зрения скорости и экономии энергии устройства, повысит уровень демократии в мире ИИ, позволяя системам работать без необходимости применения сложных компьютерных технологий. Последствия подобных исследований поистине поразительны и могут привести к полному изменению подхода к применению ИИ в повседневных технологиях, а также сделать высокоуровневые решения на основе ИИ доступными для большего числа пользователей.

Смена парадигмы

Исследования Google Research и Университета Джонса Хопкинса создали критически важный момент в развитии ИИ, поскольку они ставят под сомнение существующие подходы к разработке ИИ и направляют специалистов на внедрение более дешевых и экологически чистых процессов ИИ. 

Сообщество, занимающееся искусственным интеллектом, переходит к исследованию миниатюрных моделей. Однако это исследование не обобщает все существующие представления о данной перспективе, но также предоставляет возможности для творческих инноваций в отношении эффективности, производительности и практичности создания систем искусственного интеллекта.

Это развитие представляет собой не только сдвиг парадигмы в развитии технологий искусственного интеллекта, но и движение отрасли в сторону инклюзивности и доступности технологий. Среди факторов, способствующих росту популярности ИИ, можно выделить создание развертываемых моделей на множестве устройств, способных эффективно и точно функционировать. Это один из немногих способов значительно расширить спектр применения ИИ после выхода этих моделей на рынок. 

Новизна данного исследования заключается в свойствах масштабирования модели, которые учитывают компромисс между размером модели и ее производительностью, что делает его новаторским исследованием, способным обеспечить более эффективное и доступное будущее искусственного интеллекта.