Pesquisadores de IA da Stanford e da Universidade de Washington supostamente conseguiram o que ninguém pensou possível - eles construíram um modelo de IA chamado S1 por menos de US $ 50 em créditos de computação em nuvem, de acordo com um relatório de pesquisa divulgado na segunda -feira.
O modelo S1 oferece desempenho a par dos modelos de raciocínio de primeira linha, incluindo O1 Open e o Deepseek R1, de acordo com os benchmarks nos testes de matemática e codificação. Melhor ainda, todo o projeto está disponível no Github - código, dados e tudo.
A equipe começou pegando um modelo fora de prateleira em vez de construir algo novo. A partir daí, eles ajustaram-o através de um processo chamado destilação. De acordo com a pesquisa deles, eles destilam o poder de raciocínio do modelo experimental de pensamento flash Gemini 2.0 do Google.
Eles treinaram o S1 para imitar as técnicas de solução de problemas da Gêmeos, aprendendo com suas respostas. "Nosso objetivo é a simplicidade", disse Niklas Muennighff, um dos pesquisadores de Stanford envolvidos.
Pequeno conjunto de dados, grandes resultados
A destilação está rapidamente se tornando uma arma de escolha para as equipes de IA que desejam reduzir custos. Um modelo de IA semelhante desenvolvido no mês passado por pesquisadores de Berkeley custou US $ 450 para treinar - ainda mais baratos pelos padrões da indústria. Mas Stanford e UW deram um passo adiante, reduzindo os custos para cerca de US $ 50 destilando seu modelo com um conjunto de dados menor e técnicas simplificadas.
Os pesquisadores escolheram apenas 1.000 perguntas, cada uma emparelhada com respostas detalhadas e raciocínio passo a passo do Gemini 2.0 do Google. Esse conjunto de dados forneceu todo o conhecimento S1 necessário para executar em alto nível. De acordo com o artigo da equipe, o modelo aprendeu a pensar nos problemas.
O ajuste fino supervisionado, ou SFT, foi fundamental para fazer isso funcionar. Em vez de usar o aprendizado de reforço, que requer enormes conjuntos de dados e toneladas de poder de computação, os pesquisadores optaram pela SFT, um método em que a IA é treinada diretamente para imitar comportamentos encontrados no conjunto de dados. É mais barato e rápido e, neste caso, funcionou.
O modelo básico veio de Qwen, o laboratório de IA de propriedade da Alibaba. Seu modelo no exterior era gratuito para download, tornando o projeto ainda mais amigável. Em menos de 30 minutos e usando apenas 16 GPUs NVIDIA H100, a equipe terminou de treinar S1. "Poderíamos alugar a computação necessária por cerca de US $ 20 hoje", disse Muennightoff.
O comando "Wait" aumentou a precisão de S1
Os pesquisadores incluíram um truque inteligente para melhorar o raciocínio da S1: eles adicionaram a palavra "espere" durante a solução de problemas. Ao dizer ao modelo para pausar e verificar novamente seu trabalho, eles aumentaram a precisão. O artigo de pesquisa detalha como esse ajuste deu ao S1 tempo suficiente para considerar melhores respostas antes de enviá -las.
Openai está assistindo de perto. Eles já acusaram o DeepSeek de colher dados indevidamente de sua API para construir concorrentes de IA. Com o S1 mostrando como a replicação barata pode ser, grandes jogadores como o OpenAI não estão emocionados. A comoditização dos modelos de IA pode prejudicar seus resultados.
Mas a empresa de tecnologia tem outros problemas. Na terça -feira, a equipe jurídica de Elon Musk enfrentou o Openai em um tribunal federal de Oakland. Elon, que foi um investidor inicial em Openai, afirma que a empresa abandonou sua missão sem fins lucrativos e traiu seus objetivos originais.
Ele está processando por bloquear a transição deles para um negócio totalmente com fins lucrativos. O advogado de Elon, Marc Toberoff, disse ao tribunal na sexta -feira que Elon investiu US $ 45 milhões no Openai entre sua fundação e 2018, porque ele acreditava que sempre priorizaria o benefício do público sobre os lucros, assim como disse que seria no começo.
O juiz Yvonne Gonzalez Rogers chamou isso de "trecho" e questionou por que Elon investiria tanto dinheiro sem umtracescrito. "Isso é muito dinheiro em um aperto de mão", ela zombou. O advogado Toberoff explicou então que o CEO de Elon e Openai, Sam Altman, tinha um relacionamento próximo na época, e tudo foi construído na confiança.
Mas o caso ainda não está morto. O juiz está preocupado com o relacionamento próximo da Openai com a Microsoft. Dois principais jogadores-o co-fundador do Linkedin, Reid Hoffman, e Deanna Templeton, executivo da Microsoft-estavam envolvidos no conselho da Openai. Templeton foi adicionado como um membro que não vota após a resumo de Altman em 2023, mas depois foi removido em meio a preocupações antitruste.
Elon quer interromper seus planos e potencialmente ganhar mais controle sobre a empresa através de seu próprio empreendimento de IA, Xai, que ele acrescentou como demandante no caso. O OpenAI argumenta que o pedido de Elonripple seus negócios e é baseado em reivindicações "absurdas".
Academia Cryptopolitan: Quer aumentar seu dinheiro em 2025? Aprenda a fazê -lo com DeFi em nossa próxima webclass. Salve seu lugar
