Генеральный директор Microsoft по технологиям защищает законы масштабирования ИИ

В недавнем интервью на подкасте Sequoia Capital Training Data технический директор Microsoft Кевин Скотт вновь подтвердил свою веру в долгосрочную ценность законов масштабирования больших языковых моделей (LLM). 

Также читайте: Приложения ИИ будут оснащены «метками безопасности», указывающими на риски и результаты тестирования

Скотт, сыгравший ключевую роль в сделке между Microsoft и OpenAI на сумму 13 млрд долларов, сохраняет оптимизм относительно потенциала дальнейших достижений. Он ответил на продолжающиеся дебаты, заявив, что идея законов масштабирования по-прежнему актуальна для области искусственного интеллекта.

Исследования OpenAI подтверждают преимущества масштабирования

Законы масштабирования LLM, предложенные исследователями OpenAI в 2020 году, гласят, что эффективность языковых моделей увеличивается пропорционально размеру модели. Скотт опроверг закон убывающей отдачи, заявив, что экспоненциальный рост все еще возможен, но для его реализации могут потребоваться следующие поколения суперкомпьютеров. 

Хотя некоторые ученые ставят под сомнение устойчивость законов масштабирования, OpenAI по-прежнему опирается на них как на ключевой компонент своего плана развития ИИ. Заявления Скотта согласуются с подходом Microsoft к этим принципам, что подразумевает отсутствие намерений технологического гиганта останавливать разработку более крупных моделей ИИ.

Сообщество ИИ обсуждает будущие улучшения моделей

Позиция Скотта резко противоположна позиции некоторых критиков ИИ, которые считают, что рост остановился на модели GPT-4 и других аналогичных моделях. Некоторые критики указывали на то, что новейшие модели, включая Google Gemini 1.5 Pro и Anthropic Claude Opus, не продемонстрировали значительных улучшений по сравнению с предыдущими моделями. Критик ИИ Гэри Маркус подчеркнул эту точку зрения в апреле, поставив под сомнение отсутствие значительных достижений со времени выпуска GPT-4.

Но все же Скотт оптимистично настроен относительно возможности новых открытий. Он также признал, что в области ИИ пока мало точек данных, но подчеркнул, что в будущем это больше не будет проблемой.

«Следующая выборка данных уже в пути, и я не могу сказать вам, когда именно, и не могу точно предсказать, насколько она будет хороша, но она почти наверняка будет лучше справляться с теми задачами, которые сейчас даются модели с трудом».”

Кевин Скотт

Крупное финансирование OpenAI со стороны Microsoft свидетельствует о ее уверенности в будущем развитии больших языковых моделей (LLM). Некоторые функции ИИ, такие как Microsoft Copilot, наглядно демонстрируют, что компания стремится улучшить использование ИИ. Критик ИИ Эд Зитрон заявил, что, в некоторой степени, ИИ может быть застрял на месте, потому что люди ожидают от него слишком многого.