Secondo un rapporto di ricerca pubblicato lunedì, i ricercatori di intelligenza artificiale di Stanford e dell'Università di Washington sarebbero riusciti a realizzare ciò che nessuno riteneva possibile: avrebbero creato un modello di intelligenza artificiale chiamato s1 per meno di 50 dollari in crediti di cloud computing.
il modello s1 offre prestazioni paragonabili a quelle dei modelli di ragionamento di livello superiore, tra cui o1 di OpenAI e R1 di DeepSeek. Ancora meglio, l'intero progetto è disponibile su GitHub, con tanto di codice, dati e tutto il resto.
Il team ha iniziato a utilizzare un modello standard anziché crearne uno nuovo. Da lì, lo ha perfezionato attraverso un processo chiamato "distillazione". Secondo la loro ricerca, hanno distillato la potenza di ragionamento del modello sperimentale Gemini 2.0 Flash Thinking di Google.
Hanno addestrato s1 a imitare le tecniche di risoluzione dei problemi di Gemini, imparando dalle sue risposte. "Abbiamo puntato alla semplicità", ha affermato Niklas Muennighoff, uno dei ricercatori di Stanford coinvolti.
Piccoli set di dati, grandi risultati
La distillazione sta rapidamente diventando un'arma privilegiata per i team di intelligenza artificiale che cercano di ridurre i costi. Un modello di intelligenza artificiale simile, sviluppato il mese scorso dai ricercatori di Berkeley, è costato 450 dollari per l'addestramento, un costo comunque contenuto per gli standard del settore. Ma Stanford e UW hanno fatto un ulteriore passo avanti, riducendo i costi a circa 50 dollari distillando il loro modello con un set di dati più piccolo e tecniche semplificate.
I ricercatori hanno selezionato solo 1.000 domande, ciascuna associata a risposte dettagliate e ragionamenti passo passo tratti da Gemini 2.0 di Google. Questo set di dati ha fornito tutte le conoscenze necessarie a s1 per ottenere risultati di alto livello. Secondo l'articolo del team, il modello ha imparato a ragionare sui problemi.
La chiave per far funzionare tutto questo è stata la messa a punto supervisionata, o SFT. Invece di utilizzare l'apprendimento per rinforzo, che richiede enormi set di dati e un'enorme potenza di calcolo, i ricercatori hanno optato per la SFT, un metodo in cui l'IA viene addestrata direttamente a imitare i comportamenti rilevati nel set di dati. È più economico e veloce e, in questo caso, ha funzionato.
Il modello base proveniva da Qwen, il laboratorio di intelligenza artificiale di proprietà di Alibaba. Il loro modello standard era scaricabile gratuitamente, rendendo il progetto ancora più conveniente. In meno di 30 minuti e utilizzando solo 16 GPU Nvidia H100, il team ha completato l'addestramento di s1. "Oggi potremmo noleggiare la potenza di calcolo necessaria per circa 20 dollari", ha affermato Muennighoff.
Il comando "Aspetta" ha aumentato la precisione di s1
I ricercatori avrebbero incluso un trucco intelligente per migliorare il ragionamento di s1: hanno aggiunto la parola "wait" (aspetta) durante la risoluzione dei problemi. Chiedendo al modello di fermarsi e ricontrollare il suo lavoro, hanno aumentato la precisione. L'articolo di ricerca descrive in dettaglio come questa modifica abbia dato a s1 abbastanza tempo per valutare risposte migliori prima di inviarle.
OpenAI sta monitorando attentamente. Hanno già accusato DeepSeek di aver raccolto in modo improprio dati dalla loro API per creare concorrenti dell'IA. Con s1 che dimostra quanto possa essere economica la replicazione, i grandi player come OpenAI non sono entusiasti. La mercificazione dei modelli di IA potrebbe danneggiare i loro profitti.
Ma l'azienda tecnologica ha altri problemi. Martedì, il team legale di Elon Musk si è scontrato con OpenAI in un'aula di tribunale federale di Oakland. Elon, che è stato uno dei primi investitori in OpenAI, sostiene che l'azienda abbia abbandonato la sua missione no-profit e tradito i suoi obiettivi originali.
Ha intentato causa per bloccare la loro trasformazione in un'attività completamente a scopo di lucro. L'avvocato di Elon, Marc Toberoff, ha dichiarato venerdì in tribunale che Elon ha investito 45 milioni di dollari in OpenAI tra la sua fondazione e il 2018 perché credeva che avrebbe sempre dato priorità al bene pubblico rispetto ai profitti, proprio come aveva promesso all'inizio.
La giudice Yvonne Gonzalez Rogers ha definito la cosa "una forzatura" e si è chiesta perché Elon avrebbe investito così tanti soldi senza untracscritto. "Sono solo un sacco di soldi per una stretta di mano", ha ironizzato. L'avvocato Toberoff ha poi spiegato che Elon e il CEO di OpenAI, Sam Altman, avevano uno stretto rapporto all'epoca e che tutto si basava sulla fiducia.
Ma il caso non è ancora chiuso. Il giudice è preoccupato per lo stretto rapporto tra OpenAI e Microsoft. Due personaggi chiave, il co-fondatore di LinkedIn Reid Hoffman e la dirigente Microsoft Deanna Templeton, facevano parte del consiglio di amministrazione di OpenAI. Templeton era stata aggiunta come membro senza diritto di voto dopo la breve estromissione di Altman nel 2023, ma in seguito è stata rimossa a causa di preoccupazioni antitrust.
Elon vuole fermare i loro piani e potenzialmente ottenere un maggiore controllo sull'azienda attraverso la sua iniziativa di intelligenza artificiale, xAI, che ha aggiunto come parte querelante nel caso. OpenAI sostiene che la richiesta di Elon neripple l'attività e si basa su affermazioni "inverosimili".
