I ricercatori di AI a Stanford e l'Università di Washington hanno presumibilmente ottenuto ciò che nessuno pensava possibile: hanno costruito un modello di intelligenza artificiale chiamato S1 per meno di $ 50 in crediti di cloud computing, secondo un rapporto di ricerca pubblicato lunedì.
Secondo quanto riferito, il modello S1 offre prestazioni alla pari con modelli di ragionamento di alto livello, tra cui O1 di Openi e R1 di DeepSeek, secondo i parametri di riferimento sui test di matematica e codifica. Ancora meglio, l'intero progetto è disponibile su GitHub: code, dati e tutto il resto.
Il team ha iniziato afferrando un modello standard invece di costruire qualcosa di nuovo. Da lì, lo hanno messo a punto attraverso un processo chiamato distillazione. Secondo la loro ricerca, hanno distillato il potere di ragionamento dal modello sperimentale di pensiero flash Gemini 2.0 di Google.
Hanno formato S1 per imitare le tecniche di risoluzione dei problemi di Gemini imparando dalle sue risposte. "Abbiamo mirato alla semplicità", ha affermato Niklas Muennigor, uno dei ricercatori di Stanford coinvolti.
Piccolo set di dati, grandi risultati
La distillazione sta rapidamente diventando un'arma preferita per le squadre di intelligenza artificiale che cercano di ridurre i costi. Un modello di intelligenza artificiale simile sviluppato il mese scorso dai ricercatori di Berkeley costa $ 450 per allenarsi, ancora a buon mercato per gli standard del settore. Ma Stanford e UW hanno fatto un ulteriore passo avanti, riducendo i costi a circa $ 50 distillando il loro modello con un set di dati più piccolo e tecniche semplificate.
I ricercatori hanno selezionato solo 1.000 domande, ognuna abbinata a risposte dettagliate e ragionamento passo-passo da Google Gemini 2.0. Questo set di dati ha fornito tutte le conoscenze necessarie per l'esecuzione ad alto livello. Secondo il documento del team, il modello ha imparato a pensare attraverso problemi.
La messa a punto controllata, o SFT, era la chiave per far funzionare questo. Invece di utilizzare l'apprendimento di rinforzo, che richiede enormi set di dati e tonnellate di potenza di calcolo, i ricercatori hanno optato per SFT, un metodo in cui l'IA è direttamente addestrato a imitare i comportamenti trovati nel set di dati. È più economico e più veloce, e in questo caso ha funzionato.
Il modello di base proveniva da Qwen, il laboratorio AI di proprietà di Alibaba. Il loro modello standard era gratuito, rendendo il progetto ancora più economico. In meno di 30 minuti e utilizzando solo 16 GPU NVIDIA H100, il team ha finito di allenarsi S1. "Potremmo affittare il calcolo necessario per circa $ 20 oggi", ha detto Muennigorff.
Il comando "Wait" ha aumentato l'accuratezza di S1
Secondo quanto riferito, i ricercatori hanno incluso un trucco intelligente per migliorare il ragionamento di S1: hanno aggiunto la parola "aspetta" durante la risoluzione dei problemi. Dicendo al modello di mettere in pausa e ricontrollare il suo lavoro, hanno aumentato la precisione. Il documento di ricerca descrive in dettaglio come questa modifica ha dato a S1 abbastanza tempo per considerare risposte migliori prima di inviarle.
Openi sta guardando da vicino. Hanno già accusato Deepseek di aver raccolto in modo improprio i dati dalla loro API per costruire concorrenti di intelligenza artificiale. Con S1 che mostra come può essere la replica economica, i grandi giocatori come Openai non sono elettrizzati. La mercificazione dei modelli AI potrebbe danneggiare i loro profitti.
Ma la società tecnologica ha altri problemi. Martedì, la squadra legale di Elon Musk ha affrontato Openai in un'aula di tribunale federale di Oakland. Elon, che era un primo investitore in Openi, afferma che la società ha abbandonato la sua missione no profit e ha tradito i suoi obiettivi originali.
Sta facendo causa per bloccare la loro transizione in un'attività completamente a scopo di lucro. L'avvocato di Elon, Marc Toberoff, ha detto alla corte venerdì che Elon ha investito $ 45 milioni in Openi tra la sua fondazione e il 2018 perché ha creduto che avrebbe sempre dato la priorità ai benefici pubblici rispetto ai profitti, proprio come avrebbe detto all'inizio.
Il giudice Yvonne Gonzalez Rogers lo ha definito un "allungamento" e si è chiesto perché Elon avrebbe persino investito così tanti soldi senza unatracscritta. "Questo è solo un sacco di soldi per una stretta di mano", ha deriso. L'avvocato Toberoff ha quindi spiegato che il CEO di Elon e Openi, Sam Altman, aveva una stretta relazione all'epoca e tutto era costruito sulla fiducia.
Ma il caso non è ancora morto. Il giudice è preoccupato per la stretta relazione di Openi con Microsoft. Due giocatori chiave, il co-fondatore di Linkedin Reid Hoffman e la Microsoft Executive Deanna Templeton, sono stati coinvolti nel consiglio di amministrazione di Open. Templeton è stato aggiunto come membro non votante dopo il breve estromissione di Altman nel 2023, ma è stato successivamente rimosso tra le preoccupazioni antitrust.
Elon vuole fermare i propri piani e potenzialmente ottenere un maggiore controllo sulla compagnia attraverso la propria impresa di intelligenza artificiale, Xai, che ha aggiunto come querelante nel caso. Openai sostiene che la richiesta di Elon avrebberipple la propria attività e si basa su affermazioni "inverosimili".
Accademia crittopolitana: in arrivo - un nuovo modo per guadagnare entrate passive con DeFi nel 2025. Scopri di più
