Исследователи ИИ в Стэнфорде и Вашингтонском университете якобы осудили то, что никто не считал возможным - они построили модель ИИ под названием S1 менее чем за 50 долларов в области облачных вычислений, согласно отчету исследования, опубликованным в понедельник.
По сообщениям, модель S1 обеспечивает производительность на номинации с моделями рассуждений высшего уровня, включая Operai's O1 и Deepseek R1, согласно тестам по математике и тестам кодирования. Более того, весь проект доступен на GitHub - коде, данных и все.
Команда начала с захвата готовой модели вместо создания чего-то нового. Оттуда они настраивали его через процесс, называемый дистилляцией. Согласно их исследованию, они перегоняли способность по мышлению от экспериментальной модели Google Gemini 2.0.
Они обучали S1 имитировать методы решения проблем Близнецов, учив его на ответах. «Мы стремились к простоте», - сказал Никлас Менененгофф, один из участия в Стэнфорде.
Небольшой набор данных, большие результаты
Дистилляция быстро становится оружием, выбранным для команд искусственного интеллекта, стремящихся сократить расходы. Аналогичная модель искусственного интеллекта, разработанная в прошлом месяце исследователями Беркли, стоила 450 долларов на тренировку - все еще дешево по отраслевым стандартам. Но Стэнфорд и UW сделали еще один шаг, снизив затраты примерно до 50 долларов, перегоняя их модель с меньшим набором данных и упорядоченными методами.
Исследователи выбрали всего 1000 вопросов, каждый из которых сочетался с подробными ответами и пошаговыми рассуждениями из Google Gemini 2.0. Этот набор данных предоставил все знания S1, необходимые для выполнения на высоком уровне. Согласно документу команды, модель научилась продумывать проблемы.
Настраиваемая тонкая настройка, или SFT, была ключом к выполнению этой работы. Вместо использования обучения подкрепления, которое требует огромных наборов данных и тонны вычислительной мощности, исследователи выбрали SFT, метод, при котором ИИ напрямую обучается имитировать поведение, обнаруженное в наборе данных. Это дешевле и быстрее, и в этом случае это сработало.
Базовая модель поступила от Qwen, лаборатории ИИ, принадлежащей Алибабе. Их готовая модель была бесплатной для загрузки, что сделало проект еще более бюджетным. Менее чем за 30 минут и используя всего 16 графических процессоров NVIDIA H100, команда закончила обучение S1. «Мы могли бы арендовать необходимый вычислитель за 20 долларов сегодня», - сказал Мененгофф.
Команда «подождать» повысила точность S1
Исследователи, как сообщается, включили умный трюк, чтобы улучшить рассуждения S1: они добавили слово «ждать» во время решения проблем. Показав модели, чтобы сделать паузу и дважды проверить ее работу, они повысили точность. Исследовательский документ подробно описывает, как эта настройка дала S1 достаточно времени, чтобы рассмотреть лучшие ответы, прежде чем отправить их.
Openai внимательно следит. Они уже обвинили DeepSeek в неправильном сборе данных из своего API для создания конкурентов ИИ. С S1, показывающим, насколько дешевой может быть репликация, крупные игроки, такие как Openai, не взволнованы. Коммодитизация моделей ИИ может повредить их прибыли.
Но у технологической компании есть другие проблемы. Во вторник юридическая команда Элона Маска столкнулась с Openai в федеральном зале суда Окленда. Элон, который был ранним инвестором в Openai, утверждает, что компания отказалась от своей некоммерческой миссии и предала свои первоначальные цели.
Он предъявляет иск, чтобы заблокировать их переход в полностью коммерческий бизнес. Адвокат Элона, Марк Тоберфофф, заявил в Суд в пятницу, что Элон вложил 45 миллионов долларов в Openai между его основанием и 2018 году, потому что он считал, что он всегда будет приоритет общественной выгоде по сравнению с прибылью, точно так же, как он сказал, что вначале.
Судья Ивонн Гонсалес Роджерс назвал это «растяжением» и спросила, почему Элон даже вложил бы столько денег без письменногоtrac. «Это всего лишь много денег на рукопожатии», - издевалась она. Адвокат Тоберфофф затем объяснил, что в то время было связано с генеральным директором Elon и Openai, Сэм Альтман, и все было построено на доверии.
Но дело еще не мертв. Судья обеспокоен тесными отношениями Openai с Microsoft. Два ключевых игрока-соучредитель Linkedin Рейд Хоффман и исполнительный директор Microsoft Deanna Templeton-были связаны с советом Openai. Templeton был добавлен в качестве члена не голоса после краткого усылки Альтмана в 2023 году, но впоследствии был удален на фоне антимонопольных проблем.
Элон хочет остановить свои планы и потенциально получить больше контроля над компанией через свое собственное предприятие искусственного интеллекта, XAI, которое он добавил в качестве истца по этому делу. Openai утверждает, что просьба Элона будетripple его бизнес и основан на «надуманных» претензиях.
Ваши криптовые новости заслуживают внимания - Wire Key Miniate ставит вас на 250 лучших сайтов
