Технический директор Microsoft защищает законы о масштабировании ИИ

В недавнем интервью подкасту Training Data компании Sequoia Capital технический директор Microsoft Кевин Скотт подтвердил свою уверенность в непреходящей ценности законов масштабирования больших языковых моделей (LLM). 

Читайте также: В приложениях с искусственным интеллектом появятся «метки безопасности», указывающие на риски и необходимость тестирования.

Скотт, сыгравший важную роль в сделке между Microsoft и OpenAI на сумму 13 миллиардов долларов, сохраняет оптимизм относительно потенциала дальнейшего развития. ответ на продолжающиеся дебаты он заявил, что идея законов масштабирования по-прежнему актуальна для области искусственного интеллекта. 

Исследования OpenAI подтверждают преимущества масштабируемости

Предложенные исследователями OpenAI в 2020 году законы масштабирования LLM утверждают, что эффективность языковых моделей возрастает пропорционально размеру модели. Скотт опроверг закон убывающей отдачи, заявив, что экспоненциальный рост все еще возможен, но для его реализации могут потребоваться суперкомпьютеры следующего поколения. 

Хотя некоторые ученые ставят под сомнение устойчивость законов масштабирования, OpenAI по-прежнему опирается на них как на ключевой компонент своего плана развития ИИ. Замечания Скотта соответствуют подходу Microsoft к этим принципам, что подразумевает, что технологический гигант не намерен прекращать разработку более крупных моделей ИИ.

Сообщество специалистов по искусственному интеллекту обсуждает будущие улучшения моделей

Позиция Скотта прямо противоположна позиции некоторых критиков ИИ, которые считают, что рост остановился на GPT-4 и других подобных моделях. Некоторые критики указывают на то, что последние модели, включая Google Gemini 1.5 Pro и Anthropic Claude Opus, не продемонстрировали существенных улучшений по сравнению с предыдущими моделями. Критик ИИ Гэри Маркус подчеркнул эту точку зрения в апреле, поставив под сомнение отсутствие значительных достижений с момента выпуска GPT-4. 

Тем не менее, Скотт по-прежнему оптимистично оценивает возможность новых открытий. Он также признал тот факт, что в области ИИ пока мало данных, но подчеркнул, что в будущем это перестанет быть проблемой.

«Следующий образец скоро будет, и я не могу сказать, когда именно, и не могу точно предсказать, насколько хорошим он будет, но он почти наверняка будет лучше в тех аспектах, которые сейчас являются хрупкими».”

Кевин Скотт

Крупные инвестиции Microsoft в OpenAI свидетельствуют о её уверенности в будущем развитии программ магистратуры в области прикладных наук (LLM). Среди функций ИИ можно отметить Microsoft Copilot, что говорит оdent компании улучшить использование ИИ. Эд Зитронtronкритик ИИ, отметил , что в определённой степени ИИ может застрять на месте, потому что люди слишком многого от него ожидают.