Gemini: una svolta negli acceleratori chiplet DNN su larga scala

Nel mondo in continua evoluzione delle reti neurali profonde (DNN), la domanda di maggiore potenza di calcolo e capacità di archiviazione è cresciuta esponenzialmente. La tecnologia chiplet emerge come una soluzione interessante per soddisfare queste esigenze, offrendo il potenziale per aumentare le prestazioni, ridurre il consumo energetico e migliorare la flessibilità di progettazione. Tuttavia, presenta le sue sfide, tra cui costi di packaging elevati e costose interfacce Die-to-Die (D2D). Per affrontare queste sfide, un team di ricerca collaborativo dell'Università di Tsinghua, dell'Università di Xi'an Jiaotong, dell'IIISCT e dello Shanghai AI Laboratory ha introdotto Gemini. Questo framework innovativo mira a rivoluzionare gli acceleratori chiplet DNN su larga scala.

I Gemelli brillano con risultati impressionanti

Nel loro recente articolo intitolato "Gemini: Co-esplorazione di mappatura e architettura per acceleratori di chiplet DNN su larga scala", il team di ricerca presenta Gemini come una soluzione completa. Questo framework innovativo si concentra sulla co-esplorazione sia dell'architettura che della mappatura per ampliare i confini degli acceleratori di chiplet DNN su larga scala. I risultati sono a dir poco notevoli, con Gemini che ha ottenuto un miglioramento medio delle prestazioni di 1,98 volte e un significativo aumento dell'efficienza energetica di 1,41 volte rispetto all'architettura Simba all'avanguardia.

Le principali sfide della tecnologia chiplet

Lo sviluppo di Gemini risponde a due sfide principali della tecnologia chiplet. Dal punto di vista architettonico, la sfida principale risiede nella determinazione della granularità ottimale del chiplet. Ciò richiede un delicato equilibrio tra l'utilizzo di numerosi chiplet più piccoli per migliorare la resa e la scelta di un numero inferiore di chiplet più grandi per contenere i costi. Nella mappatura DNN, le sfide derivano dall'ampia scala consentita dalla tecnologia chiplet e dai costosi collegamenti D2D associati.

Le soluzioni innovative di Gemini

Per affrontare efficacemente queste sfide, il team di ricerca introduce un metodo di codifica incentrato sui livelli per rappresentare schemi LP SPM (Layer Processing Scratchpad Memory) in acceleratori di inferenza DNN basati su chiplet many-core. Questo metodo di codifica delinea lo spazio di ottimizzazione per la mappatura LP, rivelando significative opportunità di miglioramento. Gemini sfrutta questa codifica e un modello hardware altamente configurabile per formulare un framework di co-esplorazione di mappatura e architettura per acceleratori DNN basati su chiplet su larga scala. Questo framework comprende il Mapping Engine e il Monetary Cost Evaluator.

Il Mapping Engine utilizza un algoritmo di Simulated Annealing (SA) con cinque operatori specificamente progettati per navigare nell'ampio spazio defidal metodo di codifica. Ciò avviene riducendomatical minimo le costose comunicazioni D2D. Contemporaneamente, il Monetary Cost Evaluator valuta il costo monetario degli acceleratori con diversi parametri architetturali.

Risultati notevoli

In uno studio empirico che confronta l'architettura e la mappatura co-ottimizzate di Gemini con l'architettura Simba utilizzando Tangram SPM, i risultati parlano da soli. Gemini ottiene un notevole miglioramento medio delle prestazioni di 1,98 volte e un notevole miglioramento dell'efficienza energetica di 1,41 volte su diverse reti neurali distinte (DNN) e dimensioni dei batch. Tutto ciò con un modesto aumento del costo monetario del 14,3%.

Progressi pionieristici

L'importanza del lavoro di Gemini risiede nel suo approccio pionieristico alla defimaticdello spazio di ottimizzazione di LP SPM per acceleratori di inferenza DNN. Gemini si distingue come il primo framework a esplorare congiuntamente lo spazio di mappatura e ottimizzazione dell'architettura per acceleratori di chiplet DNN su larga scala, considerando fattori critici come consumo energetico, prestazioni e costo monetario.

Un futuro promettente per gli acceleratori di inferenza DNN

Il team di ricerca conclude sottolineando il potenziale di Gemini nel facilitare la progettazione di acceleratori multipli basati su un singolo chiplet per l'inferenza DNN. Questa innovazione apre nuove strade all'efficienza e all'innovazione in questo campo in rapida evoluzione.

Gemini, frutto di uno sforzo di ricerca collaborativo, si pone come un punto di svolta negli acceleratori di chiplet DNN su larga scala. Con risultati impressionanti, soluzioni innovative e uno spirito pionieristico, Gemini è pronto a rimodellare il panorama dell'accelerazione di reti neurali profonde. Con la continua evoluzione della tecnologia dei chiplet, il contributo di Gemini al miglioramento delle prestazioni, alla riduzione dei consumi energetici e alla maggiore flessibilità di progettazione è destinato a influenzare il settore.