Pesquisadores de Stanford e UW constroem rival open-source do ChatGPT o1 por US$ 50

Pesquisadores de IA da Stanford e da Universidade de Washington supostamente realizaram o que ninguém achava possível—eles construíram um modelo de IA chamado s1 por menos de US$ 50 em créditos de computação em nuvem, de acordo com um relatório de pesquisa lançado na segunda-feira.

O modelo s1 relatadamente entrega desempenho equivalente aos modelos de raciocínio de primeira linha, incluindo o o1 da OpenAI e o R1 da DeepSeek, de acordo com benchmarks em testes de matemática e programação. Ainda melhor, todo o projeto está disponível no GitHub—código, dados e tudo mais.

A equipe começou pegando um modelo pronto em vez de construir algo novo. A partir daí, eles o ajustaram finamente por meio de um processo chamado destilação. De acordo com sua pesquisa, eles destilaram o poder de raciocínio do modelo Google Gemini 2.0 Flash Thinking Experimental.

Eles treinaram o s1 para imitar as técnicas de resolução de problemas do Gemini, aprendendo com suas respostas. “Buscamos a simplicidade”, disse Niklas Muennighoff, um dos pesquisadores da Stanford envolvidos.

Pequeno conjunto de dados, grandes resultados

A destilação está rapidamente se tornando uma arma de escolha para equipes de IA que procuram reduzir custos. Um modelo de IA semelhante desenvolvido no mês passado por pesquisadores de Berkeley custou US$ 450 para treinar—ainda barato pelos padrões da indústria. Mas Stanford e UW levaram isso um passo além, reduzindo os custos para cerca de US$ 50 destilando seu modelo com um conjunto de dados menor e técnicas simplificadas.

Os pesquisadores selecionaram manualmente apenas 1.000 perguntas, cada uma pareada com respostas detalhadas e raciocínio passo a passo do Google Gemini 2.0. Este conjunto de dados forneceu todo o conhecimento que o s1 precisava para performar em alto nível. De acordo com o artigo da equipe, o modelo aprendeu a pensar através dos problemas.

O ajuste fino supervisionado, ou SFT, foi fundamental para fazer isso funcionar. Em vez de usar aprendizado por reforço, que requer conjuntos de dados enormes e muita potência computacional, os pesquisadores optaram pelo SFT, um método em que a IA é treinada diretamente para imitar comportamentos encontrados no conjunto de dados. É mais barato e mais rápido, e neste caso, funcionou.

O modelo base veio do Qwen, o laboratório de IA de propriedade da Alibaba. Seu modelo pronto para uso era gratuito para download, tornando o projeto ainda mais acessível. Em menos de 30 minutos e usando apenas 16 GPUs Nvidia H100, a equipe terminou o treinamento do s1. “Poderíamos alugar o compute necessário por cerca de US$ 20 hoje”, disse Muennighoff.

O comando “Wait” aumentou a precisão do s1

Os pesquisadores supostamente incluíram um truque inteligente para melhorar o raciocínio do s1: eles adicionaram a palavra “wait” durante a resolução de problemas. Ao dizer ao modelo para pausar e verificar seu trabalho, eles aumentaram a precisão. O artigo de pesquisa detalha como esse ajuste deu ao s1 tempo suficiente para considerar respostas melhores antes de submetê-las.

A OpenAI está observando de perto. Eles já acusaram a DeepSeek de coletar dados indevidamente de sua API para construir concorrentes de IA. Com o s1 mostrando quão barata a replicação pode ser, grandes players como a OpenAI não estão felizes. A commoditização dos modelos de IA pode prejudicar seus resultados financeiros.

Mas a empresa de tecnologia tem outros problemas. Na terça-feira, a equipe jurídica de Elon Musk enfrentou a OpenAI em um tribunal federal em Oakland. Elon, que foi um investidor inicial da OpenAI, afirma que a empresa abandonou sua missão sem fins lucrativos e traiu seus objetivos originais.

Ele está processando para bloquear sua transição para um negócio totalmente lucrativo. O advogado de Elon, Marc Toberoff, disse ao tribunal na sexta-feira que Elon investiu US$ 45 milhões na OpenAI entre sua fundação e 2018 porque acreditava que ela sempre priorizaria o benefício público em vez dos lucros, assim como disse que faria no início.

A juíza Yvonne Gonzalez Rogers chamou isso de “forçado” e questionou por que Elon investiria tanto dinheiro sem um contrato escrito. “Isso é apenas muito dinheiro em um aperto de mão”, ela zombou. O advogado Toberoff então explicou que Elon e o CEO da OpenAI, Sam Altman, tinham um relacionamento próximo na época, e tudo foi construído sobre confiança.

Mas o caso não está morto ainda. A juíza está preocupada com o relacionamento próximo da OpenAI com a Microsoft. Dois jogadores-chave—o co-fundador do LinkedIn Reid Hoffman e a executiva da Microsoft Deanna Templeton—estavam envolvidos com o conselho da OpenAI. Templeton foi adicionada como membro sem direito a voto após a breve destituição de Altman em 2023, mas foi posteriormente removida devido a preocupações antitruste.

Elon quer impedir seus planos e potencialmente ganhar mais controle sobre a empresa por meio de sua própria empresa de IA, xAI, que ele adicionou como parte autora no caso. A OpenAI argumenta que o pedido de Elon paralisaria seu negócio e se baseia em alegações “fora da realidade”.