Il nuovo metodo di Alibaba riduce i costi di ricerca dell'IA di quasi il 90%

Alibaba Group Holding afferma di aver trovato un modo per ridurre di quasi il 90% i costi di formazione dei modelli di intelligenza artificiale incentrati sulla ricerca.

In un articolo pubblicato la scorsa settimana sul server arXiv, i ricercatori dell'azienda tecnologica cinese descrivono "ZeroSearch", una scorciatoia di addestramento che consente a modelli linguistici di grandi dimensioni di migliorare le proprie capacità di ricerca a una frazione del costo.

Alibaba sostiene che questo approccio elimina uno dei passaggi più costosi dell'apprendimento per rinforzo: l'instradamento di decine di migliaia di query tramite interfacce di programmazione di applicazioni a pagamento.

ZeroSearch sfrutta questi colli di bottiglia. Un modello di riferimento che già contiene un'ampia base di conoscenza funge da motore di ricerca sostitutivo, producendo documenti utili e deliberatamente rumorosi per ogni query. I modelli più recenti vengono quindi addestrati su quei documenti rumorosi creati autonomamente.

La messa a punto inizia con richieste formulate in modo semplice e risposte chiare. Col tempo, un "rollout curriculare" aggiunge confusione, errori di battitura e contraddizioni, in modo che il modello di tirocinio sperimenti qualcosa di più vicino all'internet aperto.

Secondo l'articolo, il rumore nei dati rafforza il ragionamento e insegna al sistema a sopravvivere in ambienti di dati disordinati. "La nostra intuizione chiave è che i modelli lineari linguistici (LLM) hanno acquisito una vasta conoscenza del mondo durante il pre-addestramento su larga scala e sono in grado di generare documenti pertinenti a partire da una query di ricerca", spiegano i ricercatori.

I team non dovranno più pagare fornitori esterni per ogni singola query. Questo cambiamento è particolarmente significativo per i team più piccoli con risorse limitate. da 14 miliardi di parametri modello di intelligenza artificiale costa circa 70,80 dollari, con un risparmio dell'88%.

ZeroSearch di Alibaba non richiede hardware aggiuntivo

ZeroSearch, sostiene il team, non aggiunge requisiti hardware aggiuntivi. Si basa su una messa a punto standard supervisionata, in modo che le esigenze di cloud computing rimangano entro i budget di sviluppo tipici.

Il documento ha già attirato l'attenzione degli ambienti accademici specializzati in apprendimento automatico. Gli osservatori del settore affermano che i risparmi potrebbero influenzare i prossimi cicli di bilancio nel corso del prossimo anno finanziario.

I concorrenti del settore si sono dati da fare per ridurre i costi di addestramento di modelli linguistici di grandi dimensioni, promuovendo nuovi prodotti di intelligenza artificiale generativa.

La nuova funzionalità di Alibaba arriva in un momento in cui le aziende cinesi competono con aziende statunitensi come Google e OpenAI, entrambe le quali hanno investito massicciamente negli agenti di intelligenza artificiale. Riportando una riduzione dei costi di quasi dieci volte, Alibaba segnala che il costo della ricerca basata sull'IA potrebbe presto cambiare.