Исследователи из Стэнфорда и Вашингтонского университета создали конкурента ChatGPT o1 с открытым исходным кодом стоимостью 50 долларов

Согласно опубликованному в понедельник исследовательскому отчету, ученые из Стэнфорда и Вашингтонского университета якобы совершили то, что никто не считал возможным: они создали модель ИИ под названием s1, потратив менее 50 долларов на облачные вычисления.

модель s1 демонстрирует производительность, сопоставимую с лучшими моделями логического мышления, включая o1 от OpenAI и R1 от DeepSeek. Более того, весь проект доступен на GitHub — код, данные и всё остальное.

Команда начала с того, что взяла готовую модель, вместо того чтобы создавать что-то новое. Затем они доработали её с помощью процесса, называемого дистилляцией. Согласно их исследованиям, они выделили логические способности из экспериментальной модели быстрого мышления Gemini 2.0 от Google.

Они обучили s1 имитировать методы решения задач Gemini, учась на его ответах. «Мы стремились к простоте», — сказал Никлас Мюннигхофф, один из исследователей из Стэнфорда, участвовавших в проекте.

Небольшой набор данных, большие результаты

Метод дистилляции быстро становится излюбленным инструментом команд, занимающихся разработкой ИИ и стремящихся сократить расходы. Аналогичная модель ИИ, разработанная в прошлом месяце исследователями из Беркли, обошлась в 450 долларов за обучение — по-прежнему недорого по отраслевым стандартам. Но Стэнфорд и Вашингтонский университет пошли еще дальше, снизив затраты примерно до 50 долларов за счет дистилляции своей модели с использованием меньшего набора данных и оптимизированных методов.

Исследователи отобрали всего 1000 вопросов, каждый из которых сопровождался подробными ответами и пошаговыми рассуждениями из Google Gemini 2.0. Этот набор данных предоставил все необходимые знания для достижения высокого уровня производительности. Согласно статье команды, модель научилась анализировать проблемы.

Ключевым моментом в этом процессе стала контролируемая тонкая настройка (SFT). Вместо использования обучения с подкреплением, которое требует огромных наборов данных и колоссальных вычислительных мощностей, исследователи выбрали SFT — метод, при котором ИИ напрямую обучается имитировать поведение, обнаруженное в наборе данных. Это дешевле и быстрее, и в данном случае это сработало.

Базовая модель была предоставлена ​​лабораторией искусственного интеллекта Qwen, принадлежащей Alibaba. Их готовая модель была доступна для бесплатной загрузки, что сделало проект еще более экономичным. Менее чем за 30 минут, используя всего 16 графических процессоров Nvidia H100, команда завершила обучение модели s1. «Сегодня мы могли бы арендовать необходимые вычислительные ресурсы примерно за 20 долларов», — сказал Мюннигхофф.

Команда «Подождать» повысила точность s1

Как сообщается, исследователи использовали хитрый приём для улучшения логического мышления модели s1: они добавили слово «ждать» во время решения задачи. Заставив модель сделать паузу и перепроверить свою работу, они повысили точность. В исследовательской работе подробно описывается, как эта корректировка дала модели s1 достаточно времени, чтобы обдумать лучшие ответы, прежде чем отправить их.

OpenAI внимательно следит за ситуацией. Они уже обвинили DeepSeek в неправомерном сборе данных из их API для создания конкурентов в области ИИ. Учитывая, насколько дешевым может быть воспроизведение данных в результате инцидента s1, крупные игроки, такие как OpenAI, не в восторге. Стандартизация моделей ИИ может негативно сказаться на их прибыли.

Но у технологической компании есть и другие проблемы. Во вторник юридическая команда Илона Маска столкнулась с OpenAI в федеральном суде Окленда. Илон, который был одним из первых инвесторов в OpenAI, утверждает, что компания отказалась от своей некоммерческой миссии и предала свои первоначальные цели.

Он подал иск, чтобы заблокировать их переход к полностью коммерческому бизнесу. Адвокат Илона, Марк Тоберофф, заявил в суде в пятницу, что Илон инвестировал 45 миллионов долларов в OpenAI в период с момента основания компании до 2018 года, поскольку он верил, что компания всегда будет ставить общественную пользу выше прибыли, как и заявляла в самом начале.

Судья Ивонн Гонсалес Роджерс назвала это «натяжкой» и задалась вопросом, почему Илон вообще вложил бы такие деньги без письменногоtrac. «Это просто огромная сумма, оплаченная рукопожатием», — насмешливо заметила она. Затем адвокат Тоберофф объяснил, что у Илона и генерального директора OpenAI Сэма Альтмана в то время были близкие отношения, и все строилось на доверии.

Но дело еще не закрыто. Судью беспокоят тесные связи OpenAI с Microsoft. Два ключевых игрока — соучредитель LinkedIn Рид Хоффман и руководитель Microsoft Дианна Темплтон — входили в совет директоров OpenAI. Темплтон была включена в совет без права голоса после кратковременного отстранения Альтмана в 2023 году, но позже была исключена из-за опасений по поводу нарушения антимонопольного законодательства.

Илон хочет сорвать их планы и, возможно, получить больший контроль над компанией через собственное предприятие в области искусственного интеллекта, xAI, которое он также включил в качестве истца по делу. OpenAI утверждает, что запрос Илона нанесетripple ее бизнесу и основан на «надуманных» претензиях.