Les projets de mégapole IA d’OpenAI reposent sur des percées en matière de puces personnalisées

OpenAI esquisse ce qui ressemble au plan d’une civilisation construite par les machines, alimentée par ses propres puces, sa propre infrastructure et suffisamment d’électricité pour éclairer deux villes de New York.

La vision massive de la ville IA de l’entreprise repose sur une vision presque impossible à réaliser : concevoir et produire des milliards de puces personnalisées en partenariat avec Broadcom pour soutenir ce que le PDG Sam Altman appelle la « colonne vertébrale informatique » de l’avenir.

Sam a déclaré au Wall Street Journal que la fourniture des services d’intelligence artificielle que les gens exigent nécessitera au moins une puce spécifique à l’IA par utilisateur, une projection vertigineuse qui atteint les milliards.

Ali Farhadi, directeur de l’Allen Institute for AI, a soutenu cette échelle, affirmant que si l’IA remplaçait le travail humain au rythme promis, « le monde aurait besoin d’autant de puces IA qu’il y a de puces conventionnelles ». Pour OpenAI, il s’agit de contrôle ; sur les coûts, sur la consommation d’énergie et sur la survie à long terme de ses modèles alors que la demande explose.

OpenAI relie Broadcom, Nvidia et les géants de la mémoire pour le calcul de nouvelle génération

Nvidia domine bien sûr toujours le domaine de l’entraînement IA, avec environ 70 % de parts de marché, c’est pourquoi OpenAI doit continuer à utiliser ses GPU pour l’entraînement des modèles.

Mais OpenAI divise désormais le pipeline : l’entraînement se fait sur Nvidia, l’inférence (le processus de fourniture de réponses aux utilisateurs) passe au silicium personnalisé de Broadcom. Cette conception à deux voies pourrait réduire les dépenses et la consommation d’énergie à une échelle où chaque point de pourcentage compte.

Jordan Nanos, chercheur en semi-conducteurs chez SemiAnalysis, a déclaré que Broadcom aide OpenAI à « remix la recette typique des puces IA ». Ces puces ne seront pas génériques. Elles sont conçues spécifiquement pour les modèles d’OpenAI, qui reposent sur une mémoire à haute bande passante, fournie par Samsung et SK Hynix, deux entreprises avec lesquelles la société a récemment conclu des partenariats.

Ce type de mémoire permet un déplacement plus rapide des données entre les processeurs, crucial pour des systèmes comme Pulse d’OpenAI, un agent IA qui scanne le web quotidiennement pour informer les utilisateurs. Pulse consomme tellement de puissance de calcul que Sam a déclaré qu’il est limité à ceux qui paient 200 $ par mois pour l’abonnement Pro.

Cette dépendance à la mémoire à haute bande passante est directement liée au fonctionnement des modèles d’OpenAI. Les premiers réseaux neuronaux étaient « denses », activant de grandes sections de leurs systèmes pour chaque requête. Les plus récents utilisent la « parcimonie », qui n’active que des sections expertes spécifiques.

Au lieu d’utiliser 25 % du modèle pour répondre à une question, les systèmes modernes déclenchent une fraction de pourcentage. Cette différence réduit considérablement la consommation d’énergie et accélère les temps de réponse. Lorsqu’une puce est conçue autour de cette logique sparse, l’efficacité explose, et Broadcom est celui qui rend ce matériel possible.

Les supercalculateurs IA à l’échelle du gigawatt d’OpenAI redéfinissent l’infrastructure

Sam a déclaré que l’empreinte informatique actuelle d’OpenAI est d’environ 2 gigawatts, répartie dans des centres de données mondiaux. Le partenariat avec Broadcom vise à atteindre 10 gigawatts d’ici 2030, formant la base physique de ce que les initiés appellent des villes IA, des campus denses de serveurs, de stockage et d’interconnexions personnalisées reliés par les puces réseau Tomahawk Ultra de Broadcom.

Ce n’est qu’une partie de la vague. Au cours des trois dernières semaines, OpenAI a ajouté 16 gigawatts de nouvelles capacités grâce à des accords avec AMD et Nvidia, portant le total à des niveaux qui pourraient nécessiter près de 1 000 milliards de dollars d’investissement.

Le Colosse de Memphis de xAI a déjà atteint 1,21 gigawatt cet automne. L’installation Hyperion de Meta en Louisiane est approuvée pour 2,3 gigawatts, Mark Zuckerberg visant 5 gigawatts. La course à l’énergie IA est officiellement mondiale.

Sam a décrit cette transformation comme « le plus grand projet industriel conjoint de l’histoire », affirmant que même ces accords sont « une goutte d’eau par rapport à ce que nous devons faire ». Une partie de son objectif est de diversifier les fournisseurs.

Le campus Stargate à Abilene, au Texas, construit par Oracle, se concentrera sur l’entraînement IA, principalement sur les puces Nvidia. Le matériel AMD gérera les charges de travail d’inférence, tandis que le silicium personnalisé de Broadcom comblera le manque d’efficacité.

Comme l’a dit Nanos, « OpenAI regarde très loin dans l’avenir et essaie de s’assurer qu’elle aura accès à suffisamment de fournitures de puces ».