Исследователи из Стэнфорда и Вашингтонского университета создали открытого конкурента ChatGPT o1 за $50

Исследователи искусственного интеллекта из Стэнфордского университета и Вашингтонского университета, по сообщениям, совершили то, что никто не считал возможным: они создали модель ИИ под названием s1 менее чем за $50 в виде кредитов на облачные вычисления, согласно исследовательскому отчету, опубликованному в понедельник.

Модель s1 по сообщениям демонстрирует производительность на уровне лучших моделей рассуждения, включая o1 от OpenAI и R1 от DeepSeek, согласно бенчмаркам в тестах по математике и программированию. Что еще лучше, весь проект доступен на GitHub — код, данные и все остальное.

Команда начала с использования готовой модели, а не создания чего-то нового. Затем они дообучили ее с помощью процесса, называемого дистилляцией. Согласно их исследованиям, они дистиллировали способность к рассуждению из экспериментальной модели Google Gemini 2.0 Flash Thinking.

Они обучили s1 имитировать техники решения проблем Gemini, обучаясь на ее ответах. «Мы стремились к простоте», — сказал Никлас Мённигофф, один из исследователей Стэнфорда, участвовавших в проекте.

Маленький набор данных, большие результаты

Дистилляция быстро становится оружием выбора для команд ИИ, стремящихся сократить расходы. Аналогичная модель ИИ, разработанная в прошлом месяце исследователями из Беркли, стоила $450 на обучение — все еще дешево по отраслевым стандартам. Но Стэнфорд и Вашингтонский университет пошли дальше, снизив затраты примерно до $50, дистиллируя свою модель с использованием меньшего набора данных и оптимизированных методов.

Исследователи вручную отобрали всего 1000 вопросов, каждый из которых был парафразирован с подробными ответами и пошаговыми рассуждениями от Google Gemini 2.0. Этот набор данных предоставил s1 все необходимые знания для высокоуровневой работы. Согласно статье команды, модель научилась продумывать проблемы.

Ключевую роль в этом сыграло контролируемое дообучение (SFT). Вместо использования обучения с подкреплением, которое требует огромных наборов данных и вычислительных мощностей, исследователи выбрали SFT — метод, при котором ИИ напрямую обучается имитировать поведение, найденное в наборе данных. Это дешевле и быстрее, и в данном случае это сработало.

Базовая модель пришла от Qwen, лаборатории ИИ, принадлежащей Alibaba. Их готовая модель была бесплатной для загрузки, что сделало проект еще более бюджетным. Менее чем за 30 минут, используя всего 16 графических процессоров Nvidia H100, команда завершила обучение s1. «Сегодня мы могли бы арендовать необходимые вычислительные мощности примерно за $20», — сказал Мённигофф.

Команда «Подождите» повысила точность s1

Исследователи, по сообщениям, включили хитрый трюк для улучшения рассуждений s1: они добавили слово «wait» (подождите) во время решения проблем. Приказав модели приостановиться и перепроверить свою работу, они увеличили точность. В исследовательской статье подробно описывается, как эта настройка дала s1 достаточно времени, чтобы обдумать лучшие ответы перед их отправкой.

OpenAI внимательно следит за ситуацией. Они уже обвинили DeepSeek в неправильной сборе данных из своего API для создания конкурентов ИИ. С учетом того, что s1 показывает, насколько дешевым может быть реплицирование, крупные игроки, такие как OpenAI, не в восторге. Коммодитизация моделей ИИ может ударить по их прибыли.

Но у технологической компании есть и другие проблемы. Во вторник юридическая команда Илона Маска столкнулась с OpenAI в федеральном суде Окленда. Илон, который был ранним инвестором OpenAI, утверждает, что компания отказалась от своей миссии некоммерческой организации и предала свои первоначальные цели.

Он подает иск, чтобы заблокировать их переход к полностью коммерческому бизнесу. Адвокат Илона, Марк Тоберофф, сообщил суду в пятницу, что Илон инвестировал $45 миллионов в OpenAI с момента ее основания до 2018 года, потому что верил, что она всегда будет ставить общественную пользу выше прибыли, как она заявляла в начале.

Судья Ивонн Гонсалес Роджерс назвала это «натяжкой» и усомнилась, почему Илон вообще инвестировал бы такие деньги без письменного контракта. «Это просто много денег на рукопожатии», — насмехалась она. Адвокат Тоберофф затем объяснил, что у Илона и генерального директора OpenAI Сэма Альтмана были тесные отношения в то время, и все строилось на доверии.

Но дело еще не закрыто. Судью беспокоит тесная связь OpenAI с Microsoft. Два ключевых игрока — сооснователь LinkedIn Рид Хоффман и исполнительный директор Microsoft Дианна Темплтон — были вовлечены в совет директоров OpenAI. Темплтон была добавлена как нерешающий член после кратковременного отстранения Альтмана в 2023 году, но позже была удалена из-за опасений по поводу антимонопольного регулирования.

Илон хочет остановить их планы и потенциально получить больший контроль над компанией через свою собственную ИИ-венчурную компанию xAI, которую он добавил в качестве истца в деле. OpenAI утверждает, что запрос Илона парализует ее бизнес и основан на «далеких от реальности» утверждениях.