I costi nascosti dei modelli di addestramento dell'IA

Costruire e supportare modelli di intelligenza artificiale moderni richiede investimenti significativi, che possono superare le centinaia di milioni di dollari. Le stime indicano che questi costi potrebbero raggiungere il miliardo di dollari nel prossimo futuro. 

Questa spesa è dovuta principalmente alla potenza di calcolo utilizzata per realizzare dispositivi come le GPU Nvidia, che possono costare circa 30.000 dollari ciascuna e richiederne altre migliaia per essere efficienti. I ricercatori hanno affermato che la qualità e la quantità del set di dati di training utilizzato nello sviluppo di tali modelli sono molto importanti. 

I leader del settore rivelano costi sbalorditivi per lo sviluppo dell'intelligenza artificiale

Secondo James Betker di OpenAI, le prestazioni di un modello dipendono dai dati di training, piuttosto che dalla progettazione o dall'architettura del modello stesso. La sua affermazione è che i modelli addestrati su grandi set di dati raggiungeranno gli stessi risultati. Pertanto, i dati sono la chiave per il progresso della tecnologia dell'intelligenza artificiale. 

Dario Amodei, CEO dell'azienda di intelligenza artificiale Anthropic AI, ha condiviso le sue riflessioni sugli aspetti finanziari di queste sfide nel podcast In Good Company. Ha affermato che si stima che la formazione dei modelli attuali, come ChatGPT-4, costerà circa 100 milioni di dollari, e che la formazione per i modelli futuri potrebbe richiedere dai 10 ai 100 miliardi di dollari nei prossimi anni.

I modelli di intelligenza artificiale generativa, e quelli creati dalle grandi aziende, sono essenzialmente modelli statistici. Pertanto, utilizzano numerosi esempi per prevedere i risultati più probabili. Kyle Lo dell'Allen Institute for AI (AI2) afferma che il miglioramento delle prestazioni può essere attribuito principalmente ai dati, soprattutto quando l'ambiente di formazione è coerente. 

La centralizzazione dei dati solleva preoccupazioni etiche e di accessibilità

L'elevato costo per ottenere dati di buona qualità sta rendendo lo sviluppo dell'IA appannaggio di poche grandi aziende nei paesi sviluppati. Questa aggregazione di risorse è anche fonte di preoccupazione per quanto riguarda la disponibilità della tecnologia di IA e il possibile uso improprio. 

Solo OpenAI ha speso centinaia di milioni di dollari in licenze per i dati e Meta ha preso in considerazione l'acquisto di editori per l'accesso ai dati. Si prevede che il mercato dei dati di addestramento dell'IA si espanderà e i broker di dati trarranno probabilmente vantaggio da questa opportunità. 

I problemi derivano da pratiche discutibili di acquisizione dati. Secondo i rapporti, molte aziende hanno acquisito grandi volumi di contenuti senza l'autorizzazione dei proprietari di tali contenuti, e alcune aziende sfruttano i dati da diverse piattaforme senza remunerare gli utenti. Come abbiamo già riportato, OpenAI ha utilizzato il suo modello di trascrizione audio Whisper per trascrivere oltre un milione di ore di video di YouTube per ottimizzare GPT-4.

Le organizzazioni lavorano per creare set di dati di addestramento all'intelligenza artificiale ad accesso aperto

Poiché la corsa all'acquisizione dei dati presenta alcuni problemi, sono necessari sforzi da parte di soggettident per rendere i set di dati di addestramento accessibili al pubblico. Alcune organizzazioni, come EleutherAI e Hugging Face, stanno creando grandi set di dati accessibili al pubblico per lo sviluppo dell'intelligenza artificiale.

Il Wall Street Journal ha recentemente evidenziato due potenziali strategie per risolvere i problemi di acquisizione dati: la generazione di dati generativi e l'apprendimento curriculare. I dati sintetici vengono creati utilizzando modelli di intelligenza artificiale, mentre l'apprendimento curriculare cerca di fornire ai modelli dati di alta qualità in modo strutturato, in modo che possano stabilire connessioni anche con meno dati. Tuttavia, entrambi i metodi sono ancora in fase di sviluppo e la loro efficacia non è stata ancora testata.