Новый метод Alibaba позволяет сократить затраты на поиск с использованием ИИ почти на 90%

Компания Alibaba Group Holding заявляет, что нашла способ сократить затраты на обучение моделей искусственного интеллекта, ориентированных на поиск, почти на 90 процентов.

В статье, опубликованной на сервере arXiv на прошлой неделе, исследователи из китайской технологической компании описывают «ZeroSearch» — метод ускоренного обучения, позволяющий большим языковым моделям улучшать свои навыки поиска с минимальными затратами.

Компания Alibaba утверждает, что такой подход исключает один из самых дорогостоящих этапов в обучении с подкреплением: маршрутизацию десятков тысяч запросов через платные интерфейсы прикладного программирования (API).

ZeroSearch использует подобные «узкие места». Эталонная модель, уже обладающая обширной базой знаний, выступает в качестве замещающей поисковой системы, создавая для каждого запроса как полезные, так и намеренно зашумленные документы. Затем новые модели обучаются на этих самостоятельно созданных зашумленных документах.

Тонкая настройка начинается с простых формулировок вопросов и понятных ответов. Со временем, в процессе «внедрения учебной программы», добавляются ненужные элементы, опечатки и противоречия, чтобы обучающийся получил опыт, более приближенный к открытому интернету.

Согласно статье, шум в данных усиливает способность к рассуждениям и учит систему выживать в условиях неструктурированных данных. «Наша ключевая идея заключается в том, что модели LLM приобрели обширные знания о мире в ходе крупномасштабного предварительного обучения и способны генерировать релевантные документы на основе поискового запроса», — объясняют исследователи.

Командам больше не нужно платить внешним поставщикам за каждый запрос. Это изменение особенно важно для небольших команд с ограниченными ресурсами. Например, отправка 64 000 запросов в Google через API может стоить около 586,70 долларов США. Проведение того же обучения с моделью ИИ, , обойдется примерно в 70,80 долларов США, что составляет экономию в 88 процентов.

Для работы системы ZeroSearch от Alibaba не требуется дополнительное оборудование

Команда разработчиков утверждает, что ZeroSearch не предъявляет дополнительных требований к оборудованию. Он основан на стандартной контролируемой тонкой настройке, поэтому потребности в облачных вычислениях остаются в пределах типичных бюджетов разработки.

Данная работа уже привлекла внимание в академических кругах, занимающихся машинным обучением. Наблюдатели в отрасли говорят, что полученная экономия может повлиять на будущие бюджетные циклы в предстоящем финансовом году.

Конкуренты в отрасли соревнуются в снижении затрат на обучение больших языковых моделей, продвигая новые продукты на основе генеративного искусственного интеллекта.

Новая функция Alibaba появилась в то время, когда китайские компании конкурируют с американскими фирмами, такими как Google и OpenAI, которые вложили значительные средства в разработку ИИ-агентов. Сообщив о почти десятикратном снижении затрат, Alibaba сигнализирует о том, что стоимость поиска с использованием ИИ может вскоре измениться.