Il CTO di Microsoft difende le leggi sulla scalabilità dell'intelligenza artificiale

In una recente intervista al podcast Training Data di Sequoia Capital, il CTO di Microsoft Kevin Scott ha ribadito la sua convinzione nel valore duraturo delle leggi di scalabilità dei modelli linguistici di grandi dimensioni (LLM). 

Leggi anche: Le app basate sull'IA includeranno "etichette di sicurezza" che evidenzieranno i rischi e i test

Scott, che ha avuto un ruolo importante nell'accordo da 13 miliardi di dollari tra Microsoft e OpenAI, rimane ottimista sul potenziale di ulteriori progressi. Ha risposto al dibattito in corso affermando che l'idea di leggi di scalabilità è ancora rilevante nel campo dell'intelligenza artificiale. 

La ricerca OpenAI supporta i vantaggi della scalabilità

Le leggi di scala LLM proposte dai ricercatori di OpenAI nel 2020 affermano che l'efficienza dei modelli linguistici aumenta in modo proporzionale alla dimensione del modello. Scott ha screditato la legge dei rendimenti decrescenti, affermando che è ancora possibile raggiungere una crescita esponenziale, ma che potrebbero essere necessarie le prossime generazioni di supercomputer per realizzarla. 

Sebbene alcuni studiosi mettano in dubbio la sostenibilità delle leggi di scalabilità, OpenAI continua a farvi affidamento come componente chiave del suo piano di intelligenza artificiale. Le osservazioni di Scott sono in linea con l'approccio di Microsoft a questi principi, il che implica che il gigante della tecnologia non ha alcuna intenzione di fermare lo sviluppo di modelli di intelligenza artificiale più ampi.

La comunità dell'intelligenza artificiale discute sui futuri miglioramenti dei modelli

La posizione di Scott è diametralmente opposta a quella di alcuni critici dell'IA che ritengono che la crescita si sia arrestata con GPT-4 e altri modelli simili. Alcuni critici hanno citato i modelli più recenti, tra cui Gemini 1.5 Pro di Google e Claude Opus di Anthropic, come esempio di mancato miglioramento significativo rispetto ai modelli precedenti. Il critico dell'IA Gary Marcus ha evidenziato questo punto di vista ad aprile, mettendo in discussione la mancanza di progressi significativi dall'uscita di GPT-4. 

Tuttavia, Scott è ottimista sulla possibilità di nuove scoperte. Ha anche accettato il fatto che ci siano pochi dati sull'intelligenza artificiale, ma ha sottolineato che questo non sarà più un problema in futuro.

"Il prossimo campione arriverà, e non posso dirti quando, e non posso prevedere esattamente quanto sarà buono, ma sarà quasi certamente migliore nelle cose che sono fragili in questo momento.”

Kevin Scott

L'ingente finanziamento di Microsoft a OpenAI testimonia la sua fiducia nel futuro sviluppo dei modelli di apprendimento basati sull'intelligenza artificiale (IA). Alcune delle funzionalità di IA includono Microsoft Copilot, il che dimostra chiaramentedent interesse dell'azienda nel migliorare il proprio utilizzo dell'IA. Ed Zitrontronun critico dell'IA, ha affermato che, in una certa misura, l'IA potrebbe essere in una fase di stallo perché le persone si aspettano troppo da essa.