I costi nascosti dell'addestramento dei modelli AI

La creazione e il supporto dei moderni modelli AI richiedono investimenti significativi, che possono superare le centinaia di milioni di dollari. Le stime indicano che questi costi potrebbero raggiungere un miliardo di dollari nel prossimo futuro. 

Questa spesa è dovuta principalmente alla potenza di calcolo, dove vengono utilizzate entità come le GPU Nvidia, che possono costare circa 30.000 dollari ciascuna e potrebbero richiederne migliaia di più per essere efficienti. I ricercatori hanno dichiarato che la qualità e la quantità del set di dati di addestramento utilizzati per sviluppare tali modelli sono molto importanti. 

I leader del settore rivelano i costosissimi sviluppi dell'AI

Secondo James Betker di OpenAI, le prestazioni di un modello sono una funzione dei dati di addestramento piuttosto che del design o dell'architettura del modello. La sua asserzione è che i modelli addestrati su grandi set di dati raggiungeranno gli stessi risultati. Pertanto, i dati sono la chiave per l'avanzamento della tecnologia AI.

Dario Amodei, CEO dell'azienda di AI Anthropic AI, ha condiviso le sue riflessioni sugli aspetti finanziari di queste sfide nel podcast In Good Company. Ha dichiarato che l'addestramento dei modelli attuali, come ChatGPT-4, costa circa 100 milioni di dollari, mentre l'addestramento per i modelli futuri potrebbe richiedere da 10 a 100 miliardi di dollari nei prossimi anni.

I modelli di AI generativa, e quelli creati dalle grandi aziende, sono fondamentalmente modelli statistici. Pertanto, utilizzano molti esempi per prevedere gli esiti più probabili. Kyle Lo dell'Allen Institute for AI (AI2) afferma che il miglioramento delle prestazioni può essere attribuito principalmente ai dati, specialmente quando l'ambiente di addestramento è coerente. 

La centralizzazione dei dati solleva preoccupazioni etiche e di accessibilità

L'alto costo per ottenere dati di buona qualità sta rendendo lo sviluppo dell'AI appannaggio di poche grandi aziende nel mondo sviluppato. Questa aggregazione di risorse è anche fonte di preoccupazione per la disponibilità della tecnologia AI e la possibilità di un uso improprio. 

Solo OpenAI ha speso centinaia di milioni di dollari in licenze per i dati, e Meta ha preso in considerazione l'acquisto di editori per l'accesso ai dati. Si prevede che il mercato dei dati di addestramento AI si espanderà e i broker di dati potrebbero beneficiare di questa opportunità. 

Sorgono problemi da pratiche di acquisizione dei dati discutibili. Secondo i rapporti, molte aziende hanno catturato grandi volumi di contenuti senza l'autorizzazione dei proprietari di tali contenuti, e alcune aziende utilizzano dati da diverse piattaforme senza remunerare gli utenti. Come abbiamo riportato in precedenza, OpenAI ha utilizzato il suo modello di trascrizione audio Whisper per trascrivere oltre un milione di ore di video di YouTube per affinare GPT-4.

Le organizzazioni lavorano per creare dataset di addestramento AI ad accesso aperto

Mentre la corsa all'acquisizione dei dati presenta alcuni problemi, sono necessari sforzi da parte di parti indipendenti per rendere i dataset di addestramento ampiamente disponibili. Alcune organizzazioni, come EleutherAI e Hugging Face, stanno creando grandi dataset disponibili al pubblico per lo sviluppo dell'AI.

Il Wall Street Journal ha recentemente evidenziato due potenziali strategie per risolvere i problemi di acquisizione dei dati: la generazione di dati generativa e l'apprendimento curricolare. I dati sintetici sono creati utilizzando gli stessi modelli AI, mentre l'apprendimento curricolare cerca di fornire ai modelli dati di alta qualità in modo strutturato, in modo che possano stabilire connessioni anche con meno dati. Tuttavia, entrambi i metodi sono ancora in fase di sviluppo e la loro efficacia non è stata ancora testata.