Amazon nutzt Cerebras Wafer-Scale-Chips, um KI-Modelle auf AWS zu beschleunigen

Amazon Web Services sagte am Freitag, es werde Prozessoren von Cerebras in seine Rechenzentren unterbringen, im Rahmen einer mehrjährigen Partnerschaft, die sich auf KI-Inferenz konzentriert.

Der Deal gibt Amazon eine neue Möglichkeit, die Geschwindigkeit zu erhöhen, mit der KI-Modelle auf Prompts antworten, Code schreiben und Live-Benutzeranfragen bearbeiten. AWS sagte, es werde Cerebras-Technologie, einschließlich des Wafer-Scale Engine, für Inferenzaufgaben nutzen.

Die Unternehmen gaben keine finanziellen Details bekannt. Die Einrichtung ist für Amazon Bedrock innerhalb von AWS-Rechenzentren geplant, wodurch die Partnerschaft direkt in eines von Amazons Haupt-KI-Produkten platziert wird.

AWS sagte, das System werde Amazon Trainium-betriebene Server, Cerebras CS-3-Systeme und Amazons Elastic Fabric Adapter-Netzwerk kombinieren.

Später in diesem Jahr plant AWS, führende Open-Source-Large-Language-Modelle und Amazon Nova auf Cerebras-Hardware anzubieten. David Brown, Vice President of Compute and ML Services bei AWS, sagte, Geschwindigkeit sei nach wie vor ein großes Problem beim AI-Inference, insbesondere bei Echtzeit-Codehilfen und interaktiven Apps.

David sagte: „Inference ist der Bereich, in dem KI Kunden echten Mehrwert liefert, doch die Geschwindigkeit bleibt ein kritischer Engpass für anspruchsvolle Workloads wie Echtzeit-Codeunterstützung und interaktive Anwendungen.“

Amazon teilt Prefill und Decode auf separate Chips auf

AWS sagte, das Design verwende eine Methode namens Inference-Disaggregation. Das bedeutet, die KI-Inference wird in zwei Teile aufgeteilt. Der erste Teil ist die Prompt-Verarbeitung, auch Prefill genannt. Der zweite Teil ist die Ausgabe-Generierung, auch Decode genannt.

AWS sagte, die beiden Aufgaben verhalten sich sehr unterschiedlich. Prefill ist parallel, rechenintensiv und benötigt eine moderate Speicherbandbreite. Decode ist seriell, rechenleichter und stark von der Speicherbandbreite abhängig. Decode nimmt in diesen Fällen auch die meiste Zeit in Anspruch, da jedes Ausgabetoken einzeln erzeugt werden muss.

Aus diesem Weise weist AWS jedem Stadium unterschiedliche Hardware zu. Trainium wird den Prefill übernehmen. Cerebras CS-3 wird den Decode übernehmen.

AWS sagte, Low-Latency- und High-Bandwidth-EFA-Netzwerke verbinden beide Seiten, sodass das System als ein einziger Dienst arbeiten kann, während jeder Prozessor sich auf eine separate Aufgabe konzentriert.

David sagte: „Was wir mit Cerebras aufbauen, löst dieses Problem: Durch die Aufteilung der Inference-Workload auf Trainium und CS-3 und deren Verbindung über Amazons Elastic Fabric Adapter erledigt jedes System das, wofür es am besten geeignet ist. Das Ergebnis wird eine um eine Größenordnung schnellere und leistungsfähigere Inference sein als das, was heute verfügbar ist.“

AWS sagte auch, dass der Dienst auf dem AWS Nitro System laufen wird, das die Basisschicht für die Cloud-Infrastruktur darstellt.

Das bedeutet, dass Cerebras CS-3-Systeme und mit Trainium betriebene Instanzen voraussichtlich mit derselben Sicherheit, Isolation und Konsistenz betrieben werden, die AWS-Kunden bereits nutzen.

Amazon treibt Trainium voran, während Nvidia einer weiteren Bedrohung gegenübersteht

Die Ankündigung gibt Amazon auch eine weitere Gelegenheit, Trainium gegen Chips von Nvidia, AMD und anderen großen Chipunternehmen durchzusetzen. AWS beschreibt Trainium als seinen hauseigenen KI-Chip, der für skalierbare Leistung und Kosteneffizienz beim Training und Inferenz entwickelt wurde.

AWS sagte, zwei große KI-Labs haben sich bereits dafür verpflichtet. Anthropic hat AWS zu seinem primären Schulungspartner ernannt und nutzt Trainium, um Modelle zu trainieren und bereitzustellen. OpenAI wird 2 Gigawatt Trainium-Kapazität über AWS-Infrastruktur für Stateful Runtime Environment, Frontier-Modelle und andere anspruchsvolle Workloads verbrauchen.

AWS fügte hinzu, dass Trainium3 seit seiner kürzlichen Einführung eine starke Akzeptanz erfahren hat, wobei Kunden aus verschiedenen Branchen erhebliche Kapazitäten zugesagt haben.

Cerebras übernimmt die Decode-Seite des Setups. AWS sagte, CS-3 sei dediziert für die Decoding-Beschleunigung, was ihm mehr Raum für schnelle Ausgabetokens lässt. Cerebras sagt, CS-3 sei das schnellste KI-Inference-System der Welt und liefere eine tausendfach höhere Speicherbandbreite als die schnellste GPU.

Das Unternehmen sagte, Reasoning-Modelle machten nun einen größeren Anteil der Inference-Workloads aus und generierten mehr Tokens pro Anfrage, während sie Probleme durcharbeiten. Cerebras sagte auch, dass OpenAI, Cognition, Mistral und andere seine Systeme für anspruchsvolle Workloads nutzen, insbesondere im agentic Coding.

Andrew Feldman, Gründer und Chief Executive von Cerebras Systems, sagte: „Die Partnerschaft mit AWS zum Aufbau einer disaggregierten Inference-Lösung wird die schnellste Inference einer globalen Kundenbasis zugänglich machen.“

Andrew fügte hinzu: „Jedes Unternehmen auf der ganzen Welt wird in der Lage sein, von blitzschneller Inference innerhalb seiner bestehenden AWS-Umgebung zu profitieren.“

Der Deal übt weiteren Druck auf Nvidia aus, das im Dezember einen Lizenzierungsvertrag im Wert von 20 Milliarden Dollar mit Groq unterzeichnet hat und plant, nächste Woche ein neues Inference-System vorzustellen, das Groq-Technologie nutzt.