- Generative AI-Hardware innoviert mit Speicherarchitektur, um Kosten zu senken und Large Language Models erschwinglicher zu machen.
- SambaNova stellt die „Composition-of-Experts“-Architektur vor, um große Modelle zu demokratisieren und Effizienz ohne exorbitante Kosten zu bieten.
- Tenstorrent strebt nach Effizienz, indem es die Modellarchitektur von der Trainingshardware entkoppelt, um sicherzustellen, dass Modelle für den praktischen Einsatz geeignet sind und nicht nur für das Training.
Innovationen in Generativer KI-Hardware machen Fortschritte in Richtung Erschwinglichkeit, Zugänglichkeit und Effizienz und stellen die durch das exponentielle Wachstum der Größe großer Sprachmodelle (LLMs) auferlegten Einschränkungen in Frage. In einer jüngsten Podiumsdiskussion teilten Branchenführer Einblicke in ihre Strategien zur Bewältigung dieser drängenden Herausforderungen.
Marshall Choy, Senior Vice President of Products bei SambaNova Systems, hob die kritische Rolle der Speicherarchitektur bei der Senkung der Kosten für die Nutzung von LLMs hervor. Da LLMs Parameteranzahlen im Milliarden- oder Billionenbereich aufweisen, hat sich der Fokus auf den Speicher als Engpass verlagert. SambaNova Systems hat eine dreistufige Speicherarchitektur eingeführt, die Latenz, Bandbreite und Kapazität in einem einzigen Framework adressiert. Dieser innovative Ansatz zielt darauf ab, die Nutzung von LLMs wirtschaftlich zu skalieren, wobei Speichereffizienz der Schlüssel ist.
Demokratisierung großer Modelle
Die wachsende Größe von LLMs stellt eine erhebliche Zugänglichkeitsherausforderung dar. Sobald ein Modell eine Billion Parameter überschreitet, werden die damit verbundenen Hardware- und Betriebskosten prohibitiv, was ihre Nutzung auf eine ausgewählte Few beschränkt. Um große Modelle einem breiteren Publikum zugänglich zu machen, hat SambaNova Systems ein neues Konzept namens „Composition-of-Experts“ eingeführt.
Dieser Ansatz weicht vom herkömmlichen „Mixture-of-Experts“-Paradigma ab, bei dem komplexe prädiktive Modellierungsprobleme in Teilaufgaben unterteilt werden. Stattdessen trainiert SambaNova Domänen-Expertenmodelle für Präzision und Aufgabenrelevanz und setzt ein Trillionen-Parameter-Composition-of-Experts-Modell zusammen. Dieses Modell kann kontinuierlich mit neuen Daten trainiert werden, ohne vorheriges Lernen zu opfern, wobei gleichzeitig die Rechenlatenz minimiert und die Kosten für Training, Feinabstimmung und Inferenz reduziert werden.
Effizienz durch Modelltechniken
Effizienz in der generativen KI-Hardware geht über die Hardware selbst hinaus; sie erstreckt sich auf die Beziehung zwischen Modellarchitektur und der Hardware, auf der sie läuft. Matt Mattina, Vice President of AI Hardware and Models bei Tenstorrent, betonte die Bedeutung, den Feedback-Loop zu durchbrechen, bei dem die Modellarchitektur von der Hardware, auf der sie trainiert wird, geformt wird.
Tenstorrent verwendet Techniken wie die Netzwerkkarchitektursuche mit Hardware im Loop, was es Trainern ermöglicht, die Hardware für die Inferenz während des Trainings anzugeben. Dieser Paradigmenwechsel stellt sicher, dass Modelle nicht für die Trainingsmaschine, sondern für die ultimative Inferenzmaschine maßgeschneidert sind, was zu effizienteren Modellen für den praktischen Einsatz führt.
Spezialisierung auf Systemebene
KI ist ein sich ständig entwickelndes Feld, das Herausforderungen bei der Balance zwischen dedizierten Chips und kundenspezifischer Silizium mit der Flexibilität des Systems stellt. Jeff Wittich, Chief Product Officer bei Ampere Computing, bietet eine Perspektive, die die Spezialisierung auf Systemebene bevorzugt. Er behauptet, dass dieser Ansatz die Flexibilität bietet, Komponenten zu mischen und abzustimmen, um vielseitige Lösungen zu schaffen, die sich an die sich schnell verändernde KI-Hardwarelandschaft anpassen können.
Traditionell dauert die Erstellung und Kommerzialisierung neuer Hardware mehrere Jahre. Ampers Partnerschaft mit Unternehmen, die verschiedene Trainings- und Inferenzbeschleuniger entwickeln, zielt darauf ab, das richtige Gleichgewicht zu erreichen. Ampere sieht verbesserte Leistung und Effizienz durch die Kopplung von General-Purpose-CPUs mit Beschleunigern, die auf bestimmte Aufgaben spezialisiert sind.
Vorteile und Flexibilität der Integration
Wittich hebt die Bedeutung der Integration hervor, die idealerweise Leistung und Effizienz verbessern sollte, ohne die Flexibilität zu opfern. Die Fusion von General-Purpose-CPUs mit spezialisierten Beschleunigern wird als vielversprechender Weg angesehen. Mit der Zeit wird die enge Integration dieser Beschleuniger mit CPUs erwartet, um KI-Arbeitslasten weiter zu optimieren. Das Schlüsselprinzip bleibt: Integration sollte Fähigkeiten verbessern, ohne Einschränkungen aufzuerlegen.
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Brenda Kanana
Brenda verfügt über mehr als 4 Jahre Erfahrung mit Spezialisierung auf Kryptowährungen, künstliche Intelligenz und aufkommende Technologien. Sie war bei Zycrypto, Blockchain Reporter und The Coin Republic tätig und hat nun Cryptopolitan zu ihrer Heimat gemacht. Ihr Soziologiestudium an der Mombasa Technical University hält sie nah am Puls ihrer Leser.
