OpenAI est en train d'esquisser ce qui ressemble aux plans d'une civilisation construite par des machines, alimentée par ses propres puces, sa propre infrastructure et suffisamment d'électricité pour illuminer deux villes de New York.
Le projet de ville IA colossale de l'entreprise repose sur une vision quasi impossible à réaliser : concevoir et produire des milliards de puces sur mesure en partenariat avec Broadcom pour soutenir ce que le PDG Sam Altman appelle « l'épine dorsale informatique » du futur.
Sam a déclaré au Wall Street Journal que la fourniture des services d'intelligence artificielle que les gens demandent nécessitera au moins une puce spécifique à l'IA par utilisateur, une projection vertigineuse qui se chiffre en milliards.
Ali Farhadi, directeur de l'Allen Institute for AI, a appuyé cette estimation, affirmant que si l'IA remplace le travail humain au rythme annoncé, « le monde aura besoin d'autant de puces d'IA que de puces conventionnelles ». Pour OpenAI, l'enjeu est le contrôle : celui des coûts, de la consommation d'énergie et de la pérennité de ses modèles face à l'explosion de la demande.
OpenAI associe Broadcom, Nvidia et les géants de la mémoire pour le calcul de nouvelle génération
Nvidia domine toujours le secteur de l'entraînement des modèles d'IA, avec environ 70 % de parts de marché, ce qui explique pourquoi OpenAI doit continuer à utiliser ses GPU pour l'entraînement de ses modèles.
OpenAI scinde désormais le processus : l’entraînement s’effectue sur Nvidia, tandis que l’inférence (le processus de fourniture des réponses aux utilisateurs) est réalisée sur la puce personnalisée de Broadcom. Cette architecture à deuxtracpourrait réduire les coûts et la consommation d’énergie de manière significative.
Jordan Nanos, chercheur en semi-conducteurs chez SemiAnalysis, a déclaré que Broadcom aide OpenAI à « repenser la conception classique des puces d'IA ». Ces puces ne seront pas génériques. Elles sont conçues spécifiquement pour les modèles d'OpenAI, qui nécessitent une mémoire à large bande passante fournie par Samsung et SK Hynix, deux entreprises avec lesquelles la société a récemment noué un partenariat.
Ce type de mémoire permet des transferts de données plus rapides entre les processeurs, un atout essentiel pour des systèmes comme Pulse d'OpenAI, un agent d'IA qui analyse quotidiennement le web pour informer les utilisateurs. Pulse consomme tellement de puissance de calcul que, selon Sam, son utilisation est réservée aux abonnés de la version Pro à 200 dollars par mois.
Cette dépendance à une mémoire à large bande passante est directement liée au fonctionnement des modèles d'OpenAI. Les premiers réseaux neuronaux étaient « denses », activant de larges sections de leur système pour chaque requête. Les plus récents utilisent la « parcimonie », n'activant que des sections expertes spécifiques.
Au lieu d'utiliser 25 % du modèle pour répondre à une question, les systèmes modernes n'en sollicitent qu'une fraction. Cette différence réduit considérablement la consommation d'énergie et accélère les temps de réponse. Lorsqu'une puce est conçue autour de cette logique minimaliste, l'efficacité atteint des sommets, et Broadcom qui rend ce matériel possible.
Les supercalculateurs d'IA d'OpenAI, d'une puissance de l'ordre du gigawatt,defil'infrastructure
Sam a déclaré que la puissance de calcul actuelle d'OpenAI est d'environ 2 gigawatts, répartie dans des centres de données du monde entier. Le partenariat avec Broadcom vise à atteindre 10 gigawatts d'ici 2030, constituant ainsi l'infrastructure physique de ce que les spécialistes appellent des « villes de l'IA », des campus denses de serveurs, de stockage et d'interconnexions personnalisées, reliés par les puces réseau Tomahawk Ultra de Broadcom.
Ce n'est qu'une partie de l'ampleur du phénomène. Au cours des trois dernières semaines, OpenAI a conclu de nouveaux accords de capacité avec AMD et Nvidia, ajoutant ainsi 16 gigawatts à son parc de production, ce qui porte le total à des niveaux qui pourraient nécessiter près de 1 000 milliards de dollars d'investissement.
Le supercalculateur Memphis Colossus de xAI a déjà atteint 1,21 gigawatts cet automne. L'installation Hyperion de Meta en Louisiane est homologuée pour 2,3 gigawatts, et Mark Zuckerberg vise les 5 gigawatts. La course à l'énergie dans le domaine de l'IA est désormais mondiale.
Sam a décrit cette transformation comme « le plus grand projet industriel conjoint de l'histoire », ajoutant que même ces accords ne représentent qu'« une goutte d'eau dans l'océan par rapport à ce que nous devons accomplir ». Une partie de son objectif consiste à diversifier les fournisseurs.
Le campus Stargate d'Abilene, au Texas, construit par Oracle, sera dédié à l'entraînement de l'IA, principalement sur des puces Nvidia. Le matériel AMD gérera les charges de travail d'inférence, tandis que les semi-conducteurs personnalisés de Broadcom optimiseront l'efficacité énergétique.
Comme l'a dit Nanos, « OpenAI regarde très loin dans le futur et essaie de s'assurer d'avoir accès à un approvisionnement suffisant en puces. »
