Gemini: una svolta negli acceleratori di chiplet DNN su larga scala

Nel mondo in continua evoluzione delle Reti Neurali Profonde (DNN), la domanda di maggiore potenza di calcolo e capacità di archiviazione è cresciuta in modo esponenziale. La tecnologia chiplet emerge come una soluzione compelling per soddisfare queste esigenze, offrendo il potenziale per aumentare le prestazioni, ridurre il consumo di energia e migliorare la flessibilità di progettazione. Tuttavia, presenta le sue sfide, inclusi i costi di packaging elevati e le costose interfacce Die-to-Die (D2D). Affrontando queste sfide frontalmente, un team di ricerca collaborativo dell'Università di Tsinghua, dell'Università di Xi’an Jiaotong, dell'IIISCT e del Shanghai AI Laboratory ha introdotto Gemini. Questo quadro rivoluzionario mira a rivoluzionare gli acceleratori di chiplet DNN su larga scala.

Gemini brilla con risultati impressionanti

Nel loro recente articolo intitolato “Gemini: Co-esplorazione della Mappatura e dell’Architettura per Acceleratori Chiplet DNN su larga scala”, il team di ricerca presenta Gemini come una soluzione completa. Questo innovativo framework si concentra sulla co-esplorazione sia dell'architettura che della mappatura per spingere oltre i confini degli acceleratori chiplet DNN su larga scala. I risultati sono tutt'altro che ordinari, con Gemini che ha ottenuto un miglioramento medio delle prestazioni del 1,98× e un significativo aumento dell'efficienza energetica del 1,41× rispetto all'architettura Simba all'avanguardia.

Sfide chiave nella tecnologia chiplet

Lo sviluppo di Gemini nasce in risposta a due sfide principali della tecnologia chiplet. Sul fronte architettonico, la sfida chiave risiede nel determinare la granularità ottimale del chiplet. Ciò richiede di trovare un delicato equilibrio tra l'utilizzo di numerosi chiplet più piccoli per migliorare il rendimento e l'opzione di scegliere meno chiplet più grandi per contenere i costi. Nella mappatura DNN, le sfide derivano dall'ampia scala abilitata dalla tecnologia chiplet e dai costosi collegamenti D2D associati.

Soluzioni innovative di Gemini

Per affrontare efficacemente queste sfide, il team di ricerca introduce un metodo di codifica centrato sui layer per rappresentare gli schemi LP SPM (Layer Processing Scratchpad Memory) negli acceleratori DNN inference many-core basati su chiplet. Questo metodo di codifica delimita lo spazio di ottimizzazione per la mappatura LP, rivelando significative opportunità di miglioramento. Gemini sfrutta questa codifica e un modello hardware altamente configurabile per formulare un framework di co-esplorazione della mappatura e dell'architettura per acceleratori chiplet DNN su larga scala. Questo framework comprende il Mapping Engine e il Monetary Cost Evaluator.

Il Mapping Engine utilizza un algoritmo di Simulated Annealing (SA) con cinque operatori specificamente progettati per navigare nell'ampio spazio definito dal metodo di codifica. Fa tutto ciò minimizzando automaticamente le costose comunicazioni D2D. Contemporaneamente, il Monetary Cost Evaluator valuta il costo monetario degli acceleratori con diversi parametri architettonici.

Risultati notevoli

In uno studio empirico che confronta l'architettura e la mappatura co-ottimizzate di Gemini con l'architettura Simba utilizzando Tangram SPM, i risultati parlano da soli. Gemini raggiunge un impressionante miglioramento medio delle prestazioni del 1,98× e un notevole aumento dell'efficienza energetica del 1,41× su vari DNN e dimensioni del batch. Il tutto con un modesto aumento del costo monetario del 14,3%.

Avanzamenti pionieristici

L'importanza del lavoro di Gemini risiede nel suo approccio pionieristico alla definizione sistematica dello spazio di ottimizzazione dell'LP SPM per gli acceleratori DNN inference. Gemini si distingue come il primo framework a esplorare congiuntamente lo spazio di ottimizzazione della mappatura e dell'architettura per acceleratori chiplet DNN su larga scala, considerando fattori critici come il consumo energetico, le prestazioni e il costo monetario.

Un futuro promettente per gli acceleratori DNN inference

Il team di ricerca conclude sottolineando il potenziale di Gemini di facilitare la progettazione che impiega un singolo chiplet per più acceleratori negli acceleratori DNN inference. Questa innovazione apre nuove strade per l'efficienza e l'innovazione in questo campo in rapida evoluzione.

Gemini, frutto di uno sforzo di ricerca collaborativo, emerge come un game-changer negli acceleratori chiplet DNN su larga scala. Con risultati impressionanti, soluzioni innovative e uno spirito pionieristico, Gemini è pronto a ridefinire il panorama dell'accelerazione delle reti neurali profonde. Man mano che la tecnologia chiplet continua a evolversi, i contributi di Gemini a prestazioni migliorate, riduzione del consumo energetico e maggiore flessibilità di progettazione sono destinati ad avere un impatto sul settore.