Nvidia H20 e H200 contribuiscono a potenziare il modello di intelligenza artificiale addestrato interamente su set di dati sintetici cinesi

L'Università di Tsinghua e Microsoft Research Asia hanno addestrato un modello di intelligenza artificiale completo utilizzando solo dati falsi. Nessun campione reale.

L'intero set di dati è stato generato artificialmente tramite una nuova pipeline chiamata SynthSmith, e il sistema è stato eseguito su chip Nvidia dall'inizio alla fine. Il team non si è limitato a realizzare un test innovativo. Ha costruito un modello funzionante con 7 miliardi di parametri che ha superato modelli molto più grandi, addestrati su dati umani.

Il loro articolo, pubblicato l'11 gennaio su arXiv, sostiene che l'X-Coder da loro addestrato ha superato i modelli di codifica con 14 miliardi di parametri, anche se non ha mai visualizzato testo reale.

"Un'analisi approfondita rivela che le leggi di scala sono valide anche per il nostro set di dati sintetici", hanno scritto i ricercatori. Il team includeva nomi provenienti dalla Tsinghua University, da Microsoft Research Asia e dall'Università di Wuhan.

I ricercatori utilizzano i chip Nvidia per ignorare completamente i dati del mondo reale

Il sistema di addestramento si è basato in larga misura sull'hardware Nvidia. Per la messa a punto supervisionata, sono stati utilizzati 128 chip Nvidia H2O per 220 ore consecutive. Successivamente, per altri sette giorni, si è passati a 32 chip H200 per gestire la fase di apprendimento per rinforzo. Non si è trattato di scelte casuali. L'H2O è ottimizzato per l'inferenza, mentre l'H200 è progettato per l'addestramento di fascia alta. Questi sono i chip più potenti attualmente disponibili per le aziende cinesi, grazie alle esenzioni dal controllo delle esportazioni approvate dall'amministrazione Trump dopo che Nvidia aveva esercitato forti pressioni per renderli disponibili in Cina.

I ricercatori hanno affermato che la pipeline in sé non era il problema in termini di scalabilità. Era tutta una questione di potenza di calcolo.

Wu Jie, autore principale e studentedent presso la Tsinghua, ha affermato che il vero motivo per cui non avevano portato la pipeline a modelli da 100 miliardi o trilioni di parametri era semplicemente "vincolo computazionale, piuttosto che limitazioni della pipeline stessa"

Rilasciando il codice pubblicamente, sperano che altri possano sviluppare il progetto senza dover sostenere ingenti costi di formazione. Il documento evidenzia anche una tendenza nell'intelligenza artificiale.

Ora ci si aspetta che i modelli "pensino" su intervalli di tempo più lunghi e gestiscano ragionamenti complessi, il che ha reso necessaria una maggiore elaborazione durante l'inferenza, non solo durante l'addestramento.

Un team cinese costruisce un chip più veloce utilizzando una vecchia tecnologia di fabbricazione

Separatamente, un nuovo chip chiamato ACCEL è stato costruito da scienziati cinesi utilizzando particelle di luce, non elettricità. Il chip (abbreviazione di All-Analogue Chip Combining ElectronicstronLight) è stato testato in laboratorio e ha raggiunto i 4,6 PFLOPS.

È 3.000 volte più veloce dell'A100 di Nvidia e il chip cinese ha consumato 4 milioni di volte meno energia. Questo lo rende uno dei chip mai realizzati per compiti specifici come il riconoscimento delle immagini o la guida autonoma.

Non sostituirà ancora le CPU o i chip degli smartphone, ma il team ritiene che potrebbe funzionare nei dispositivi indossabili, nei veicoli elettrici o nelle fabbriche intelligenti.

Il chip è stato realizzato utilizzando un processo ventennale della Semiconductor Manufacturing International Corporation. Ha evitato la necessità di macchinari litografici avanzati, a cui la Cina non ha ancora accesso.

"L'implementazione dei sistemi di calcolo fotonico rappresentava in passato una sfida a causa della complessità della progettazione strutturale e della vulnerabilità al rumore e agli errori di sistema", ha affermato in un articolo.

Il chip evita questo problema combinando elettronica fotonica edtronanalogica in un nuovo framework. Non gestisce attività di elaborazione generiche come la compressione dei file, ma è ottimo per la visione artificiale e il rilevamento in condizioni di scarsa illuminazione.

Un dettaglio incredibile: l'energia necessaria per far funzionare i chip moderni per un'ora potrebbe far funzionare ACCEL per 500 anni. Questo basso consumo energetico semplifica anche la gestione dei problemi di calore, che limitano le dimensioni massime dei chip.

Le funzioni del chip includono l'dentdel traffico, l'imaging in condizioni di scarsa illuminazione e la visione in tempo reale, utilizzando la luce ambientale direttamente nel processo di rilevamento. Il team ha affermato che non si tratta di un chip per uso generale, ma che soddisfa un'esigenza molto specifica.

I finanziamenti provenivano dal National Key R&D Programme e dalla National Natural Science Foundation of China. È stata coinvolta anche un'azienda di chip di Pechino chiamata MakeSens, co-fondata da uno dei ricercatori, che ha recentemente lanciato anche un chip analogico a basso consumo.

Dai Qionghai di Tsinghua, uno dei responsabili del progetto, ha affermato che la creazione di una nuova architettura informatica è solo il primo passo.

“La sfida più importante è quella di portare questa nuova architettura ad applicazioni pratiche, risolvendo le principali esigenze nazionali e pubbliche, che è nostra responsabilità.”

Il team non ha ancora detto nulla su quando questo chip potrebbe arrivare sul mercato.