Ricercatori di Stanford e UW costruiscono un rivale open-source di ChatGPT o1 da 50 dollari

I ricercatori di intelligenza artificiale di Stanford e dell'Università di Washington avrebbero realizzato ciò che nessuno credeva possibile: hanno costruito un modello di IA chiamato s1 per meno di 50 dollari in crediti di calcolo cloud, secondo un rapporto di ricerca pubblicato lunedì.

Il modello s1 secondo quanto riportato offre prestazioni alla pari dei modelli di ragionamento di fascia alta, inclusi o1 di OpenAI e R1 di DeepSeek, secondo i benchmark sui test di matematica e codifica. Ancora meglio, l'intero progetto è disponibile su GitHub: codice, dati e tutto il resto.

Il team ha iniziato acquisendo un modello pronto all'uso invece di crearne uno nuovo. Da lì, l'hanno perfezionato attraverso un processo chiamato distillazione. Secondo la loro ricerca, hanno distillato il potere di ragionamento dal modello sperimentale Gemini 2.0 Flash Thinking di Google.

Hanno addestrato s1 a imitare le tecniche di risoluzione dei problemi di Gemini imparando dalle sue risposte. "Avevamo puntato alla semplicità", ha detto Niklas Muennighoff, uno dei ricercatori di Stanford coinvolti.

Piccolo dataset, grandi risultati

La distillazione sta diventando rapidamente un'arma di scelta per i team di IA che cercano di ridurre i costi. Un modello di IA simile sviluppato lo scorso mese dai ricercatori di Berkeley è costato 450 dollari per l'addestramento, ancora economico secondo gli standard del settore. Ma Stanford e UW hanno fatto un passo ulteriore, riducendo i costi a circa 50 dollari distillando il loro modello con un dataset più piccolo e tecniche semplificate.

I ricercatori hanno selezionato manualmente solo 1.000 domande, ciascuna abbinata a risposte dettagliate e ragionamenti passo dopo passo da Gemini 2.0 di Google. Questo dataset ha fornito tutta la conoscenza di cui s1 aveva bisogno per performare a un livello elevato. Secondo il documento del team, il modello ha imparato come ragionare attraverso i problemi.

Il fine-tuning supervisionato, o SFT, è stato fondamentale per far funzionare tutto questo. Invece di utilizzare l'apprendimento per rinforzo, che richiede dataset enormi e molta potenza di calcolo, i ricercatori hanno optato per SFT, un metodo in cui l'IA viene addestrata direttamente a imitare i comportamenti presenti nel dataset. È più economico e veloce e, in questo caso, ha funzionato.

Il modello base proveniva da Qwen, il laboratorio di intelligenza artificiale di proprietà di Alibaba. Il loro modello pronto all'uso era gratuito da scaricare, rendendo il progetto ancora più economico. In meno di 30 minuti e utilizzando solo 16 GPU Nvidia H100, il team ha completato l'addestramento di s1. "Oggi potremmo noleggiare il calcolo necessario per circa 20 dollari", ha dichiarato Muennighoff.

Il comando "Aspetta" ha migliorato l'accuratezza di s1

I ricercatori avrebbero incluso un trucco intelligente per migliorare il ragionamento di s1: hanno aggiunto la parola "aspetta" durante la risoluzione dei problemi. Dicendo al modello di fare una pausa e di ricontrollare il proprio lavoro, hanno aumentato l'accuratezza. Il documento di ricerca dettagli come questa modifica abbia dato a s1 il tempo necessario per considerare risposte migliori prima di inviarle.

OpenAI sta osservando attentamente. Hanno già accusato DeepSeek di aver raccolto impropriamente dati dalla loro API per costruire concorrenti di IA. Con s1 che mostra quanto sia economica la replicazione, i grandi attori come OpenAI non sono entusiasti. La commoditizzazione dei modelli di IA potrebbe danneggiare i loro margini.

Ma l'azienda tecnologica ha altri problemi. Martedì, il team legale di Elon Musk si è scontrato con OpenAI in un'aula di tribunale federale ad Oakland. Elon, che era un investitore iniziale di OpenAI, sostiene che l'azienda abbia abbandonato la sua missione no-profit e tradito i suoi obiettivi originali.

Sta intentando una causa per bloccare la loro transizione verso un'attività completamente a scopo di lucro. L'avvocato di Elon, Marc Toberoff, ha dichiarato in tribunale venerdì che Elon ha investito 45 milioni di dollari in OpenAI tra la sua fondazione e il 2018 perché credeva che avrebbe sempre dato priorità al bene pubblico rispetto ai profitti, proprio come aveva affermato all'inizio.

Il giudice Yvonne Gonzalez Rogers lo ha definito un "salto nel vuoto" e ha chiesto il motivo per cui Elon avrebbe investito una tale somma di denaro senza un contratto scritto. "È solo un sacco di denaro su una stretta di mano", ha ironizzato. L'avvocato Toberoff ha poi spiegato che Elon e il CEO di OpenAI, Sam Altman, avevano un rapporto stretto all'epoca e che tutto si basava sulla fiducia.

Ma il caso non è ancora morto. Il giudice è preoccupata per il stretto rapporto tra OpenAI e Microsoft. Due attori chiave, il co-fondatore di LinkedIn Reid Hoffman e l'esecutiva di Microsoft Deanna Templeton, erano coinvolti nel consiglio di amministrazione di OpenAI. Templeton è stata aggiunta come membro non votante dopo la breve rimozione di Altman nel 2023, ma è stata successivamente rimossa a causa di preoccupazioni antitrust.

Elon vuole fermare i loro piani e potenzialmente ottenere un maggiore controllo sull'azienda attraverso la sua stessa impresa di IA, xAI, che ha aggiunto come parte ricorrente nella causa. OpenAI sostiene che la richiesta di Elon paralizzerebbe la sua attività e si basa su affermazioni "forzate".