Amazon utilise les puces à l'échelle de plaquette de Cerebras pour turbocharger les modèles IA sur AWS

Amazon Web Services a annoncé vendredi qu'il installerait des processeurs de Cerebras dans ses centres de données dans le cadre d'un partenariat pluriannuel axé sur l'inférence IA.

L'accord donne à Amazon un nouveau moyen d'accélérer la façon dont les modèles IA répondent aux invites, écrivent du code et gèrent les demandes utilisateur en direct. AWS a déclaré qu'il utiliserait la technologie Cerebras, y compris le Wafer-Scale Engine, pour les tâches d'inférence.

Les entreprises n'ont pas partagé les termes financiers. La configuration est prévue pour Amazon Bedrock à l'intérieur des centres de données d'AWS, plaçant le partenariat directement au sein de l'un des principaux produits IA d'Amazon.

AWS a déclaré que le système combinerait des serveurs alimentés par Amazon Trainium, des systèmes Cerebras CS-3 et le réseau Elastic Fabric Adapter d'Amazon.

Plus tard cette année, AWS prévoit également de proposer les principaux grands modèles de langage open-source et Amazon Nova sur le matériel Cerebras. David Brown, vice-président des services de calcul et de ML chez AWS, a déclaré que la vitesse reste un problème majeur dans l'inférence IA, en particulier pour l'aide au codage en temps réel et les applications interactives.

David a déclaré : « L'inférence est là où l'IA délivre une réelle valeur aux clients, mais la vitesse reste un goulot d'étranglement critique pour des charges de travail exigeantes comme l'assistance au codage en temps réel et les applications interactives. »

Amazon sépare le préremplissage et le décodage sur des puces séparées

AWS a déclaré que la conception utilise une méthode appelée désagrégation de l'inférence. Cela signifie diviser l'inférence IA en deux parties. La première partie est le traitement des invites, également appelé préremplissage. La deuxième partie est la génération de sortie, également appelée décodage.

AWS a déclaré que les deux tâches se comportent très différemment. Le préremplissage est parallèle, intensif en calcul et nécessite une bande passante mémoire modérée. Le décodage est séquentiel, moins intensif en calcul et beaucoup plus dépendant de la bande passante mémoire. Le décodage prend également la majeure partie du temps dans ces cas car chaque token de sortie doit être produit un par un.

C'est pourquoi AWS attribue du matériel différent à chaque étape. Trainium gérera le préremplissage. Cerebras CS-3 gérera le décodage.

AWS a déclaré qu'un réseau EFA à faible latence et haute bande passante connectera les deux côtés afin que le système puisse fonctionner comme un seul service tandis que chaque processeur se concentre sur une tâche séparée.

David a déclaré : « Ce que nous construisons avec Cerebras résout cela : en divisant la charge de travail d'inférence entre Trainium et CS-3, et en les connectant avec l'adaptateur de réseau Elastic Fabric Adapter d'Amazon, chaque système fait ce qu'il fait de mieux. Le résultat sera une inférence d'un ordre de grandeur plus rapide et aux performances supérieures à ce qui est disponible aujourd'hui. »

AWS a également déclaré que le service fonctionnera sur le système AWS Nitro, qui est la couche de base de son infrastructure cloud.

Cela signifie que les systèmes Cerebras CS-3 et les instances alimentées par Trainium devraient fonctionner avec la même sécurité, isolation et cohérence que celles que les clients d'AWS utilisent déjà.

Amazon pousse Trainium plus fort alors que Nvidia fait face à une autre menace

L'annonce donne également à Amazon une autre opportunité de promouvoir Trainium contre les puces de Nvidia, AMD et d'autres grandes entreprises de semi-conducteurs. AWS décrit Trainium comme sa puce IA interne conçue pour des performances évolutives et une efficacité des coûts tant pour l'entraînement que pour l'inférence.

AWS a déclaré que deux grands laboratoires d'IA sont déjà engagés. Anthropic a nommé AWS son partenaire d'entraînement principal et utilise Trainium pour entraîner et déployer des modèles. OpenAI consommera 2 gigawatts de capacité Trainium via l'infrastructure AWS pour l'environnement d'exécution persistant, les modèles de pointe et d'autres charges de travail avancées.

AWS a ajouté que Trainium3 a connu une adoption forte depuis sa récente sortie, avec des clients de tous secteurs s'engageant sur des capacités majeures.

Cerebras gère le côté décodage de la configuration. AWS a déclaré que le CS-3 est dédié à l'accélération du décodage, ce qui lui laisse plus de place pour des tokens de sortie rapides. Cerebras affirme que le CS-3 est le système d'inférence IA le plus rapide au monde et offre une bande passante mémoire des milliers de fois supérieure à celle du GPU le plus rapide.

L'entreprise a déclaré que les modèles de raisonnement représentent désormais une part plus importante des travaux d'inférence et génèrent plus de tokens par demande à mesure qu'ils résolvent des problèmes. Cerebras a également déclaré qu'OpenAI, Cognition, Mistral et d'autres utilisent ses systèmes pour des charges de travail exigeantes, en particulier le codage agentique.

Andrew Feldman, fondateur et directeur général de Cerebras Systems, a déclaré : « S'associer avec AWS pour construire une solution d'inférence désagrégée apportera l'inférence la plus rapide à une base de clients mondiale. »

Andrew a ajouté : « Chaque entreprise dans le monde pourra bénéficier d'une inférence extrêmement rapide au sein de son environnement AWS existant. »

L'accord ajoute davantage de pression sur Nvidia, qui a signé en décembre un accord de licence de 20 milliards de dollars avec Groq et prévoit de dévoiler la semaine prochaine un nouveau système d'inférence utilisant la technologie Groq.