Gemini: Ein Durchbruch bei großskaligen DNN-Chiplet-Beschleunigern

In der sich ständig weiterentwickelnden Welt der Deep Neural Networks (DNNs) ist die Nachfrage nach erhöhter Rechenleistung und Speicherkapazitäten exponentiell gewachsen. Die Chiplet-Technologie tritt als überzeugende Lösung hervor, um diesen Anforderungen gerecht zu werden, und bietet das Potenzial, die Leistung zu steigern, den Stromverbrauch zu senken und die Designflexibilität zu verbessern. Allerdings bringt sie auch Herausforderungen mit sich, darunter erhöhte Verpackungskosten und kostspielige Die-to-Die (D2D)-Schnittstellen. Um diesen Herausforderungen direkt zu begegnen, hat ein gemeinsames Forschungsteam der Tsinghua-Universität, der Xi’an Jiaotong University, des IIISCT und des Shanghai AI Laboratory Gemini eingeführt. Dieses bahnbrechende Framework zielt darauf ab, großskalige DNN-Chiplet-Beschleuniger zu revolutionieren.

Gemini glänzt mit beeindruckenden Ergebnissen

In ihrem kürzlich erschienenen Papier mit dem Titel „Gemini: Mapping and Architecture Co-exploration for Large-scale DNN Chiplet Accelerators“ stellt das Forschungsteam Gemini als umfassende Lösung vor. Dieses innovative Framework konzentriert sich auf die gemeinsame Erforschung von Architektur und Mapping, um die Grenzen großskaliger DNN-Chiplet-Beschleuniger voranzutreiben. Die Ergebnisse sind nichts weniger als bemerkenswert: Gemini erzielt eine durchschnittliche Leistungsverbesserung von 1,98× und eine signifikante Steigerung der Energieeffizienz um 1,41× im Vergleich zur state-of-the-art Simba-Architektur.

Herausforderungen in der Chiplet-Technologie

Die Entwicklung von Gemini erfolgt als Reaktion auf zwei primäre Herausforderungen der Chiplet-Technologie. Auf der architektonischen Ebene liegt die Hauptherausforderung in der Bestimmung der optimalen Chiplet-Granularität. Dies erfordert ein empfindliches Gleichgewicht zwischen der Verwendung zahlreicher kleinerer Chiplets zur Verbesserung der Ausbeute und der Entscheidung für weniger, größere Chiplets zur Kostenkontrolle. Bei der DNN-Zuordnung (Mapping) ergeben sich Herausforderungen aus dem durch die Chiplet-Technologie ermöglichten umfangreichen Maßstab und den damit verbundenen kostspieligen D2D-Verbindungen.

Innovative Lösungen von Gemini

Um diesen Herausforderungen wirksam zu begegnen, führt das Forschungsteam eine schichtzentrierte Codierungsmethode zur Darstellung von LP SPM (Layer Processing Scratchpad Memory)-Schemata in Many-Core-Chiplet-DNN-Inferenzbeschleunigern ein. Diese Codierungsmethode grenzt den Optimierungsraum für das LP-Mapping ab und offenbart erhebliche Verbesserungsmöglichkeiten. Gemini nutzt diese Codierung und eine hochkonfigurierbare Hardware-Vorlage, um ein Framework für die gemeinsame Erforschung von Mapping und Architektur für großskalige DNN-Chiplet-Beschleuniger zu formulieren. Dieses Framework umfasst die Mapping-Engine und den Monetary Cost Evaluator.

Die Mapping-Engine nutzt einen Simulated Annealing (SA)-Algorithmus mit fünf speziell entwickelten Operatoren, um den umfangreichen Raum zu navigieren, den die Codierungsmethode definiert. Dies geschieht bei gleichzeitiger automatischer Minimierung kostspieliger D2D-Kommunikation. Gleichzeitig bewertet der Monetary Cost Evaluator die monetären Kosten von Beschleunigern mit unterschiedlichen architektonischen Parametern.

Bemerkenswerte Ergebnisse

In einer empirischen Studie, die die ko-optimierte Architektur und das Mapping von Gemini mit der Simba-Architektur unter Verwendung von Tangram SPM vergleicht, sprechen die Ergebnisse für sich. Gemini erzielt eine beeindruckende durchschnittliche Leistungsverbesserung von 1,98× und eine bemerkenswerte Steigerung der Energieeffizienz um 1,41× über verschiedene DNNs und Batch-Größen hinweg. All dies geht mit nur einer bescheidenen Erhöhung der monetären Kosten um 14,3 % einher.

Pionierleistungen

Die Bedeutung der Arbeit von Gemini liegt in ihrem bahnbrechenden Ansatz zur systematischen Definition des Optimierungsraums von LP SPM für DNN-Inferenzbeschleuniger. Gemini sticht als erstes Framework hervor, das den Optimierungsraum für Mapping und Architektur für großskalige DNN-Chiplet-Beschleuniger gemeinsam erforscht und dabei kritische Faktoren wie Energieverbrauch, Leistung und monetäre Kosten berücksichtigt.

Eine vielversprechende Zukunft für DNN-Inferenzbeschleuniger

Das Forschungsteam schließt mit der Betonung des Potenzials von Gemini, das Design zu erleichtern, bei dem ein einzelnes Chiplet für mehrere Beschleuniger in DNN-Inferenzbeschleunigern eingesetzt wird. Diese Innovation eröffnet neue Wege für Effizienz und Innovation in diesem sich schnell entwickelnden Feld.

Gemini, das Kind einer gemeinsamen Forschungsanstrengung, erweist sich als Game-Changer bei großskaligen DNN-Chiplet-Beschleunigern. Mit beeindruckenden Ergebnissen, innovativen Lösungen und einem Pioniergeist ist Gemini bestens gerüstet, die Landschaft der Deep-Neural-Network-Beschleunigung neu zu gestalten. Während die Chiplet-Technologie weiter fortschreitet, werden die Beiträge von Gemini zu verbesserter Leistung, reduziertem Stromverbrauch und verbesserter Designflexibilität das Feld unweigerlich beeinflussen.