Alibaba Group Holding afferma di aver trovato un modo per ridurre i costi di formazione di modelli di intelligenza artificiale incentrati sulla ricerca di quasi il 90 %.
In un documento pubblicato sul server ARXIV la scorsa settimana, i ricercatori dell'azienda tecnologica cinese descrivono "Zerosearch", un collegamento di formazione che consente ai modelli di grandi dimensioni di migliorare le loro capacità di ricerca a una frazione del costo.
Alibaba sostiene che l'approccio rimuove uno dei passaggi più costosi nell'apprendimento del rinforzo: rotta decine di migliaia di domande attraverso interfacce di programmazione delle applicazioni a pagamento.
Zerosearch mette tali colli di bottiglia da utilizzare. Un modello di riferimento che contiene già un'ampia base di conoscenza funge da motore di ricerca stand -in, producendo documenti utili e deliberatamente rumorosi per ogni query. I modelli più recenti vengono quindi addestrati su quei documenti rumorosi fatti da sé.
La figura fine inizia con istruzioni chiaramente formulate e risposte pulite. Nel tempo, un "lancio di curriculum" aggiunge disordine, errori di battitura e contraddizioni in modo che il modello del tirocinante sperimenta qualcosa di più vicino a Internet aperto.
Secondo il documento, il rumore dei dati rafforza il ragionamento e insegna al sistema a sopravvivere in ambienti di dati disordinati. "La nostra intuizione chiave è che LLMS ha acquisito ampie conoscenze mondiali durante la pretrattamento su larga scala e sono in grado di generare documenti pertinenti dati una query di ricerca", spiegano i ricercatori.
I team non devono pagare fornitori esterni per ogni domanda. Il cambiamento è particolarmente significativo per i team più piccoli che hanno risorse limitate. Ad esempio, l'invio di 64.000 domande a Google tramite un'API può costare circa $ 586,70. modello AI di 14 miliardi di parametri costa circa US $ 70,80, con un risparmio dell'88 %.
Zerosearch di Alibaba non richiede hardware aggiuntivo
Zerosearch, sostiene il team, non aggiunge ulteriori richieste di hardware. Si basa su una linea fine supervisionata standard, quindi le esigenze di calcolo del cloud rimangono all'interno della gamma di budget di sviluppo tipici.
Il documento ha già attirato l'attenzione all'interno dei circoli accademici di apprendimento automatico. Gli osservatori del settore affermano che i risparmi potrebbero influenzare i prossimi cicli di bilancio durante il prossimo esercizio finanziario.
I rivali del settore hanno corso per tagliare i costi della formazione del modello di linguaggio di grandi dimensioni mentre spingono i nuovi prodotti generativi di intelligenza artificiale.
La nuova funzionalità di Alibaba arriva mentre le aziende cinesi competono con aziende statunitensi come Google e Openai, entrambe investite pesantemente negli agenti di intelligenza artificiale. Segnalando un taglio dei costi quasi dieci, Alibaba segnala che il costo per la ricerca AI potrebbe presto spostare.
Cryptolitan Academy: Vuoi far crescere i tuoi soldi nel 2025? Scopri come farlo con DeFi nella nostra prossima webclass. Salva il tuo posto
