Los planes masivos de ciudades de IA de OpenAI dependen de avances en chips personalizados

OpenAI está trazando lo que parece ser el plano de una civilización construida por máquinas, una impulsada por sus propios chips, su propia infraestructura y suficiente electricidad para iluminar dos ciudades de Nueva York.

La visión masiva de la ciudad de IA de la compañía se basa en una visión que es casi imposible de llevar a cabo: diseñar y producir miles de millones de chips personalizados en asociación con Broadcom para apoyar lo que el CEO Sam Altman llama la "columna vertebral de computación" del futuro.

Sam le dijo al Wall Street Journal que entregar los servicios de inteligencia artificial que la gente demanda requerirá al menos un chip específico de IA por usuario, una proyección desconcertante que se eleva a miles de millones.

Ali Farhadi, director del Instituto Allen para IA, respaldó esa escala, diciendo que si la IA reemplaza la mano de obra humana a la tasa prometida, "el mundo necesitará tantos chips de IA como los convencionales". Para OpenAI, esto se trata de control; sobre los costos, sobre el consumo de energía y sobre la supervivencia a largo plazo de sus modelos a medida que la demanda explota.

OpenAI vincula a Broadcom, Nvidia y gigantes de la memoria para la computación de próxima generación

Nvidia, por supuesto, aún domina el espacio de entrenamiento de IA, con aproximadamente el 70% de participación de mercado, por lo que OpenAI tiene que seguir utilizando sus GPUs para el entrenamiento de modelos.

Pero OpenAI ahora está dividiendo la tubería: el entrenamiento ocurre en Nvidia, la inferencia (el proceso de entregar respuestas a los usuarios) se mueve al silicio personalizado de Broadcom. Este diseño de dos vías podría reducir los gastos y el uso de energía a una escala donde cada punto porcentual importa.

Jordan Nanos, investigador de semiconductores en SemiAnalysis, dijo que Broadcom está ayudando a OpenAI a "remixar la receta típica de chips de IA". Estos chips no serán genéricos. Están siendo diseñados específicamente para los modelos de OpenAI, que dependen de memoria de alto ancho de banda, suministrada por Samsung y SK Hynix, dos empresas con las que la compañía firmó recientemente acuerdos de asociación.

Ese tipo de memoria permite un movimiento más rápido de datos entre procesadores, crítico para sistemas como Pulse de OpenAI, un agente de IA que escanea la web diariamente para informar a los usuarios. Pulse consume tanta potencia de computación que Sam dijo que está limitado a aquellos que pagan $200 al mes por la suscripción Pro.

Esta dependencia de la memoria de alto ancho de banda se relaciona directamente con cómo operan los modelos de OpenAI. Las redes neuronales tempranas eran "densas", activando grandes secciones de sus sistemas para cada consulta. Las más nuevas usan "esparsidad", que activa solo secciones específicas de expertos.

En lugar de usar el 25% del modelo para responder a una pregunta, los sistemas modernos activan una fracción de un por ciento. Esa diferencia reduce drásticamente el consumo de energía y acelera los tiempos de respuesta. Cuando un chip está construido alrededor de esa lógica dispersa, la eficiencia se dispara, y Broadcom es quien hace posible ese hardware.

Los supercomputadores de IA a escala de gigavatios de OpenAI redefinen la infraestructura

Sam ha dicho que la huella de computación actual de OpenAI es de alrededor de 2 gigavatios, distribuida en centros de datos globales. La asociación con Broadcom tiene como objetivo construir hasta 10 gigavatios para 2030, formando la base física para lo que los insiders llaman ciudades de IA, campus densos de servidores, almacenamiento e interconexiones personalizadas unidas por los chips de networking Tomahawk Ultra de Broadcom.

Esa es solo parte de la ola. En las últimas tres semanas, OpenAI ha agregado 16 gigavatios en nuevos acuerdos de capacidad con AMD y Nvidia, llevando el total a niveles que podrían requerir casi $1 billón en inversión.

El Coloso de Memphis de xAI ya alcanzó 1.21 gigavatios este otoño. La instalación Hyperion de Meta en Luisiana está aprobada para 2.3 gigavatios, con Mark Zuckerberg apuntando a 5 gigavatios. La carrera energética de la IA es oficialmente global.

Sam describió esta transformación como "el proyecto industrial conjunto más grande de la historia", diciendo que incluso estos acuerdos son "una gota en el cubo en comparación con donde necesitamos llegar". Parte de su objetivo es diversificar los proveedores.

El campus Stargate en Abilene, Texas, construido por Oracle, se centrará en el entrenamiento de IA, principalmente en chips Nvidia. El hardware de AMD manejará las cargas de trabajo de inferencia, mientras que el silicio personalizado de Broadcom llena el vacío de eficiencia.

Como dijo Nanos, "OpenAI está mirando bastante lejos hacia el futuro, y tratando de asegurarse de tener acceso a suficiente suministro de chips".