Pesquisadores de IA de Stanford e da Universidade de Washington supostamente conseguiram o que ninguém acreditava ser possível: criaram um modelo de IA chamado s1 por menos de 50 dólares em créditos de computação em nuvem, de acordo com um relatório de pesquisa divulgado na segunda-feira.
O modelo s1 apresenta desempenho equivalente aos melhores modelos de raciocínio, incluindo o o1 da OpenAI e o R1 da DeepSeek, de acordo com testes de matemática e programação. Melhor ainda, todo o projeto está disponível no GitHub — código, dados e tudo mais.
A equipe começou adotando um modelo já existente em vez de construir algo novo. A partir daí, eles o aprimoraram por meio de um processo chamado destilação. De acordo com a pesquisa, eles destilaram o poder de raciocínio do modelo experimental Gemini 2.0 Flash Thinking do Google.
Eles treinaram o modelo s1 para imitar as técnicas de resolução de problemas do Gemini, aprendendo com suas respostas. "Nosso objetivo era a simplicidade", disse Niklas Muennighoff, um dos pesquisadores de Stanford envolvidos no projeto.
Conjunto de dados pequeno, resultados expressivos
A destilação está se tornando rapidamente uma ferramenta essencial para equipes de IA que buscam reduzir custos. Um modelo de IA semelhante, desenvolvido no mês passado por pesquisadores de Berkeley, custou US$ 450 para ser treinado — um valor ainda baixo para os padrões da indústria. Mas Stanford e a Universidade de Washington foram além, reduzindo os custos para cerca de US$ 50 ao destilar seu modelo com um conjunto de dados menor e técnicas simplificadas.
Os pesquisadores selecionaram cuidadosamente apenas 1.000 perguntas, cada uma acompanhada de respostas detalhadas e raciocínio passo a passo do Gemini 2.0 do Google. Esse conjunto de dados forneceu todo o conhecimento necessário para que o modelo s1 tivesse um desempenho de alto nível. De acordo com o artigo da equipe, o modelo aprendeu a analisar problemas.
O ajuste fino supervisionado, ou SFT, foi fundamental para o sucesso deste projeto. Em vez de usar aprendizado por reforço, que exige conjuntos de dados enormes e muita capacidade computacional, os pesquisadores optaram pelo SFT, um método no qual a IA é treinada diretamente para imitar comportamentos encontrados no conjunto de dados. É mais barato e mais rápido e, neste caso, funcionou.
O modelo base veio da Qwen, o laboratório de IA pertencente ao Alibaba. O modelo pronto para uso estava disponível para download gratuito, tornando o projeto ainda mais econômico. Em menos de 30 minutos e usando apenas 16 GPUs Nvidia H100, a equipe concluiu o treinamento do modelo s1. "Hoje, poderíamos alugar o poder computacional necessário por cerca de US$ 20", disse Muennighoff.
O comando "Espere" aumentou a precisão de s1
Segundo relatos, os pesquisadores incluíram um truque inteligente para melhorar o raciocínio do modelo s1: adicionaram a palavra "espere" durante a resolução do problema. Ao instruir o modelo a pausar e verificar seu trabalho, eles aumentaram a precisão. O artigo científico detalha como esse ajuste deu ao modelo s1 tempo suficiente para considerar melhores respostas antes de enviá-las.
A OpenAI está acompanhando de perto. Eles já acusaram a DeepSeek de coletar dados de sua API de forma inadequada para construir concorrentes de IA. Com o caso s1 mostrando o quão barata a replicação pode ser, grandes empresas como a OpenAI não estão nada satisfeitas. A comoditização de modelos de IA pode prejudicar seus resultados financeiros.
Mas a empresa de tecnologia tem outros problemas. Na terça-feira, a equipe jurídica de Elon Musk enfrentou a OpenAI em um tribunal federal de Oakland. Elon, que foi um dos primeiros investidores da OpenAI, alega que a empresa abandonou sua missão sem fins lucrativos e traiu seus objetivos originais.
Ele está processando a empresa para impedir sua transição para um negócio totalmente lucrativo. O advogado de Elon, Marc Toberoff, disse ao tribunal na sexta-feira que Elon investiu US$ 45 milhões na OpenAI entre sua fundação e 2018 porque acreditava que ela sempre priorizaria o benefício público em detrimento do lucro, assim como havia prometido desde o início.
A juíza Yvonne Gonzalez Rogers considerou a situação "forçada" e questionou por que Elon Musk investiria tanto dinheiro sem umtracpor escrito. "É muito dinheiro investido apenas com um aperto de mãos", ironizou. O advogado Toberoff explicou então que Elon Musk e o CEO da OpenAI, Sam Altman, tinham uma relação próxima na época, e tudo se baseava na confiança mútua.
Mas o caso ainda não está encerrado. O juiz está preocupado com a estreita relação da OpenAI com a Microsoft. Dois nomes-chave — o cofundador do LinkedIn, Reid Hoffman, e a executiva da Microsoft, Deanna Templeton — faziam parte do conselho da OpenAI. Templeton foi adicionada como membro sem direito a voto após a breve destituição de Altman em 2023, mas foi posteriormente removida em meio a preocupações antitruste.
Elon Musk quer impedir os planos da OpenAI e, potencialmente, obter maior controle sobre a empresa por meio de sua própria startup de IA, a xAI, que ele incluiu como autora no processo. A OpenAI argumenta que o pedido de Elonripple seus negócios e se baseia em alegações "absurdas".
