Gemini: Ein Durchbruch bei groß angelegten DNN-Chiplet-Beschleunigern

In der sich ständig weiterentwickelnden Welt der Deep Neural Networks (DNNs) ist der Bedarf an erhöhter Rechenleistung und Speicherkapazität exponentiell gestiegen. Die Chiplet-Technologie erweist sich als vielversprechende Lösung, um diesen Anforderungen gerecht zu werden, da sie das Potenzial bietet, die Leistung zu steigern, den Stromverbrauch zu senken und die Designflexibilität zu erhöhen. Sie bringt jedoch auch Herausforderungen mit sich, darunter hohe Gehäusekosten und kostspielige Chip-zu-Chip-Schnittstellen (D2D). Um diese Herausforderungen direkt anzugehen, hat ein Forschungsteam der Tsinghua-Universität, der Xi'an Jiaotong-Universität, des IIISCT und des Shanghai AI Laboratory Gemini entwickelt. Dieses bahnbrechende Framework zielt darauf ab, großflächige DNN-Chiplet-Beschleuniger zu revolutionieren.

Zwillinge glänzen mit beeindruckenden Ergebnissen

In ihrer kürzlich erschienenen Publikation „Gemini: Mapping and Architecture Co-exploration for Large-scale DNN Chiplet Accelerators“ präsentiert das Forschungsteam Gemini als umfassende Lösung. Dieses innovative Framework konzentriert sich auf die gemeinsame Erforschung von Architektur und Mapping, um die Grenzen großskaliger DNN-Chiplet-Beschleuniger zu erweitern. Die Ergebnisse sind bemerkenswert: Gemini erzielt eine durchschnittliche Leistungssteigerung um das 1,98-Fache und eine signifikante Steigerung der Energieeffizienz um das 1,41-Fache im Vergleich zur hochmodernen Simba-Architektur.

Wichtigste Herausforderungen in der Chiplet-Technologie

Die Entwicklung von Gemini ist eine Antwort auf zwei zentrale Herausforderungen der Chiplet-Technologie. Architektonisch gesehen liegt die größte Herausforderung in der Bestimmung der optimalen Chiplet-Granularität. Dies erfordert ein sorgfältiges Abwägen zwischen dem Einsatz zahlreicher kleiner Chiplets zur Steigerung der Ausbeute und der Wahl weniger, aber größerer Chiplets zur Kostenkontrolle. Im Bereich des DNN-Mappings ergeben sich Herausforderungen aus der durch die Chiplet-Technologie ermöglichten großen Skalierbarkeit und den damit verbundenen, kostspieligen D2D-Verbindungen.

Die innovativen Lösungen von Gemini

Um diese Herausforderungen effektiv zu bewältigen, stellt das Forschungsteam eine schichtzentrierte Kodierungsmethode zur Darstellung von LP-SPM-Schemata (Layer Processing Scratchpad Memory) in Chiplet-DNN-Inferenzbeschleunigern mit vielen Kernen vor. Diese Kodierungsmethode grenzt den Optimierungsraum für LP-Mapping ab und deckt signifikante Verbesserungsmöglichkeiten auf. Gemini nutzt diese Kodierung und eine hochgradig konfigurierbare Hardwarevorlage, um ein Framework zur gemeinsamen Erkundung von Mapping und Architektur für großskalige DNN-Chiplet-Beschleuniger zu entwickeln. Dieses Framework umfasst die Mapping-Engine und den Monetary Cost Evaluator.

Die Mapping-Engine nutzt einen Simulated-Annealing-Algorithmus (SA) mit fünf speziell entwickelten Operatoren, um den durch das Kodierungsverfahren defiumfangreichen Raum zu durchsuchen. Dabei minimiert siematicdie aufwändige D2D-Kommunikation. Parallel dazu bewertet der Monetary Cost Evaluator die monetären Kosten von Beschleunigern mit unterschiedlichen Architekturparametern.

Bemerkenswerte Ergebnisse

Eine empirische Studie, die die kooptimierte Architektur und das Mapping von Gemini mit der Simba-Architektur mittels Tangram SPM vergleicht, liefert überzeugende Ergebnisse. Gemini erzielt eine beeindruckende durchschnittliche Leistungssteigerung um den Faktor 1,98 und eine bemerkenswerte Energieeffizienzverbesserung um den Faktor 1,41 über verschiedene DNNs und Batchgrößen hinweg. All dies geht mit lediglich einem moderaten Kostenanstieg von 14,3 % einher.

Bahnbrechende Fortschritte

Die Bedeutung der Arbeit von Gemini liegt in ihrem wegweisenden Ansatz zurmaticdefides Optimierungsraums von LP SPM für DNN-Inferenzbeschleuniger. Gemini zeichnet sich als erstes Framework aus, das den Optimierungsraum für Mapping und Architektur von großflächigen DNN-Chiplet-Beschleunigern gemeinsam untersucht und dabei kritische Faktoren wie Energieverbrauch, Leistung und Kosten berücksichtigt.

Eine vielversprechende Zukunft für DNN-Inferenzbeschleuniger

Das Forschungsteam betont abschließend das Potenzial von Gemini, die Entwicklung von DNN-Inferenzbeschleunigern mit einem einzigen Chiplet für mehrere Beschleuniger zu vereinfachen. Diese Innovation eröffnet neue Wege für Effizienz und Innovation in diesem sich rasant entwickelnden Feld.

Gemini, das Ergebnis gemeinsamer Forschungsarbeit, erweist sich als bahnbrechend für großflächige DNN-Chiplet-Beschleuniger. Mit beeindruckenden Ergebnissen, innovativen Lösungen und Pioniergeist ist Gemini bestens gerüstet, die Landschaft der Deep-Neural-Network-Beschleunigung grundlegend zu verändern. Da sich die Chiplet-Technologie stetig weiterentwickelt, werden Geminis Beiträge zu verbesserter Leistung, reduziertem Stromverbrauch und erhöhter Designflexibilität das Feld nachhaltig prägen.