Amazon lance une puce IA pour défier la domination de Nvidia et Google

Amazon a déployé sa nouvelle puce d'entraînement IA, Trainium3, cette semaine, alors qu'elle s'attaque directement au monopole matériel détenu par Nvidia et Google.

L'accélérateur fonctionne déjà dans un petit groupe de centres de données AWS et sera ouvert aux clients mardi, selon une interview avec Dave Brown, vice-président d'Amazon Web Services. Dave a déclaré que l'entreprise ne se contente pas d'y aller progressivement.

« Au début de l'année prochaine, nous commencerons à déployer très, très rapidement », a-t-il dit. L'objectif est simple : vendre plus de puissance de calcul directement depuis les baies d'Amazon au lieu de voir les développeurs dépenser cet argent ailleurs.

AWS domine toujours le cloud mondial en termes de calcul et de stockage loués. Cette avance ne s'est pas traduite proprement par une domination dans l'entraînement IA à grande échelle. Certains développeurs se tournent vers Microsoft en raison de son lien avec OpenAI.

D'autres vont chez Google et ses puces maison. Amazon utilise désormais Trainium3 pour ramener les équipes sensibles aux coûts sous son aile. L'argument principal est un coût inférieur par unité de travail tout en gardant tout dans AWS.

Amazon pousse Trainium3 à l'échelle du cloud

Trainium3 arrive environ un an après qu'Amazon a déployé sa dernière version. Ce rythme se situe à l'extrémité rapide des normes des puces. Lorsque la puce a été activée pour la première fois en août, un ingénieur d'AWS a plaisanté : « La principale chose dont nous espérons ici est simplement que nous ne voyons pas de fumée ou de feu. » Le rythme rapide des mises à niveau reflète également le plan public de Nvidia de livrer une nouvelle puce chaque année.

Amazon affirme que les puces Trainium exécutent la charge de calcul lourde derrière les modèles IA à un coût inférieur et avec une meilleure efficacité énergétique que les meilleurs GPU de Nvidia. Dave a déclaré : « Nous sommes très satisfaits de notre capacité à obtenir le bon rapport performance-prix avec Trainium. » L'entreprise mise fortement sur cet angle prix alors que la taille des modèles augmente et que les factures d'entraînement continuent d'augmenter.

Il y a encore une limite. Les puces d'Amazon ne disposent pas des bibliothèques logicielles approfondies qui permettent aux équipes de travailler rapidement sur le matériel Nvidia. Bedrock Robotics, qui utilise l'IA pour piloter des engins de construction sans contrôle humain, fait fonctionner ses systèmes principaux sur des serveurs AWS. Lorsqu'il entraîne des modèles pour guider une excavatrice, il utilise toujours des puces Nvidia. Kevin Peterson, directeur technologique de Bedrock Robotics, a déclaré : « Nous avons besoin que ce soit performant et facile à utiliser. C'est Nvidia. »

La majeure partie de la capacité Trainium est actuellement dirigée vers Anthropic. Les puces fonctionnent dans des centres de données en Indiana, Mississippi et Pennsylvanie. Plus tôt cette année, AWS a annoncé qu'il avait connecté plus de 500 000 puces Trainium pour entraîner les derniers modèles d'Anthropic. Amazon prévoit d'augmenter ce nombre à 1 million de puces d'ici la fin de l'année.

Amazon lie l'avenir de Trainium à la croissance d'Anthropic et à ses propres services IA. En dehors d'Anthropic, l'entreprise a nommé très peu de grands clients jusqu'à présent. Cela laisse les analystes avec des données limitées pour juger de la performance de Trainium dans une utilisation plus large.

Anthropic répartit également son risque de calcul. Il utilise toujours les Tensor Processing Units de Google et a signé un accord cette année avec Google qui fournit un accès à des dizaines de milliards de dollars de puissance de calcul.

Amazon a révélé Trainium3 lors de re: Invent, sa conférence annuelle pour les utilisateurs. L'événement s'est transformé en un défilé ininterrompu d'outils et d'infrastructures IA destinés aux développeurs qui créent de nouveaux modèles et aux entreprises prêtes à payer pour un accès à grande échelle.

Amazon déploie des mises à jour Nova et ouvre Nova Forge

Mardi, Amazon a également mis à jour sa famille principale de modèles IA, connue sous le nom de Nova. La nouvelle ligne Nova 2 comprend une version appelée Omni.

Omni accepte le texte, les images, la parole ou la vidéo en entrée. Il peut répondre avec du texte et des images. Amazon vend un mélange de types d'entrée et de coût des modèles sous forme de package conçu pour une utilisation quotidienne à grande échelle.

Amazon continue de fixer le prix de ses modèles autour de la performance par dollar. Les modèles Nova précédents ne se classaient pas près du sommet dans les classements de tests standard qui évaluent les réponses à des questions fixes. L'entreprise mise sur l'utilisation réelle plutôt que sur les tableaux de tests.

Rohit Prasad, qui dirige une grande partie du travail sur les modèles d'Amazon et son équipe d'Intelligence Artificielle Générale, a déclaré : « Le véritable benchmark est le monde réel », et a ajouté qu'il s'attend à ce que les nouveaux modèles soient compétitifs dans des environnements réels.

Amazon ouvre également un contrôle plus approfondi des modèles aux utilisateurs avancés grâce à un nouveau produit appelé Nova Forge, qui permet aux équipes de récupérer des versions des modèles Nova avant la fin de l'entraînement et de les façonner à l'aide de leurs propres données.

Reddit utilise déjà Nova Forge pour créer un modèle qui vérifie si un message enfreint les règles de sécurité. Chris Slowe, directeur technologique de Reddit, a déclaré que de nombreux utilisateurs d'IA se tournent vers le modèle le plus gros possible pour chaque tâche au lieu d'en entraîner un avec un focus étroit. « Le fait que nous puissions en faire un expert dans notre domaine spécifique est là où réside la valeur », a-t-il dit.

Avec Trainium3 désormais actif dans les centres de données et les modèles Nova mis à jour en même temps, Amazon pousse sur deux fronts à la fois. Le combat matériel se déroule contre Nvidia. La poussée sur les modèles se fait contre OpenAI soutenu par Microsoft et Google. La prochaine phase passe maintenant à l'utilisation par les clients à pleine échelle cloud.