I piani per la mega città IA di OpenAI dipendono da breakthrough nei chip personalizzati

OpenAI sta abbozzando ciò che sembra essere il progetto per una civiltà costruita dalle macchine, una alimentata dai suoi chip, dalla sua infrastruttura e da abbastanza elettricità da illuminare due città come New York.

La visione massiccia della città IA dell'azienda si basa su un'idea quasi impossibile da realizzare: progettare e produrre miliardi di chip personalizzati in partnership con Broadcom per supportare ciò che l'CEO Sam Altman chiama la "spina dorsale computazionale" del futuro.

Sam ha dichiarato al Wall Street Journal che fornire i servizi di intelligenza artificiale richiesti dagli utenti richiederà almeno un chip specifico per l'IA per utente, una proiezione sbalorditiva che si traduce in miliardi.

Ali Farhadi, capo dell'Allen Institute for AI, ha sostenuto questa scala, dicendo che se l'IA sostituisce il lavoro umano al ritmo promesso, "il mondo avrà bisogno di tanti chip IA quanti ne ha convenzionali". Per OpenAI, si tratta di controllo; sui costi, sul consumo di energia e sulla sopravvivenza a lungo termine dei suoi modelli mentre la domanda esplode.

OpenAI collega Broadcom, Nvidia e giganti della memoria per il calcolo di nuova generazione

Nvidia, naturalmente, domina ancora lo spazio di addestramento dell'IA, con circa il 70% di quota di mercato, motivo per cui OpenAI deve continuare a utilizzare le sue GPU per l'addestramento dei modelli.

Ma ora OpenAI sta dividendo la pipeline: l'addestramento avviene su Nvidia, l'inferenza (il processo di consegna delle risposte agli utenti) si sposta sul silicio personalizzato di Broadcom. Questo design a due binari potrebbe ridurre le spese e l'uso di energia su una scala in cui ogni punto percentuale conta.

Jordan Nanos, ricercatore di semiconduttori presso SemiAnalysis, ha dichiarato che Broadcom sta aiutando OpenAI a "rimescolare la tipica ricetta dei chip IA". Questi chip non saranno generici. Sono ingegnerizzati specificamente per i modelli di OpenAI, che si affidano a memoria ad alta larghezza di banda, fornita da Samsung e SK Hynix, due aziende con cui la società ha recentemente stretto partnership.

Questo tipo di memoria consente un movimento più veloce dei dati tra i processori, fondamentale per sistemi come Pulse di OpenAI, un agente IA che scansiona il web quotidianamente per fornire briefing agli utenti. Pulse consuma così tanta potenza di calcolo che Sam ha detto che è limitato a chi paga $200 al mese per il piano Pro.

Questa dipendenza dalla memoria ad alta larghezza di banda si collega direttamente al funzionamento dei modelli di OpenAI. Le prime reti neurali erano "dense", attivando grandi sezioni dei loro sistemi per ogni query. Quelle più recenti usano la "sparsità", che attiva solo sezioni specifiche di esperti.

Invece di utilizzare il 25% del modello per rispondere a una domanda, i sistemi moderni attivano una frazione di un percento. Questa differenza riduce drasticamente il consumo di energia e accelera i tempi di risposta. Quando un chip è costruito attorno a questa logica sparsa, l'efficienza schizza alle stelle, e Broadcom è colui che rende possibile quell'hardware.

I supercomputer IA su scala gigawatt di OpenAI ridefiniscono l'infrastruttura

Sam ha dichiarato che l'attuale impronta computazionale di OpenAI è di circa 2 gigawatt, distribuita tra data center globali. La partnership con Broadcom mira a costruire fino a 10 gigawatt entro il 2030, formando la base fisica per ciò che gli addetti ai lavori chiamano città IA, campus densi di server, archiviazione e interconnessioni personalizzate unite dai chip di rete Tomahawk Ultra di Broadcom.

Questa è solo una parte dell'onda. Nelle ultime tre settimane, OpenAI ha aggiunto 16 gigawatt di nuova capacità attraverso accordi con AMD e Nvidia, portando il totale a livelli che potrebbero richiedere quasi 1 trilione di dollari di investimenti.

Il Colosso di Memphis di xAI ha già raggiunto 1,21 gigawatt quest'autunno. La struttura Hyperion di Meta in Louisiana è approvata per 2,3 gigawatt, con Mark Zuckerberg che punta a 5 gigawatt. La corsa all'energia IA è ufficialmente globale.

Sam ha descritto questa trasformazione come "il più grande progetto industriale congiunto della storia", dicendo che anche questi accordi sono "una goccia nel secchio rispetto a dove dobbiamo andare". Parte del suo obiettivo è diversificare i fornitori.

Il campus Stargate ad Abilene, in Texas, costruito da Oracle, si concentrerà sull'addestramento dell'IA, principalmente su chip Nvidia. L'hardware AMD gestirà i carichi di lavoro di inferenza, mentre il silicio personalizzato di Broadcom colma il divario di efficienza.

Come ha messo in chiaro Nanos, "OpenAI sta guardando molto lontano nel futuro, e sta cercando di assicurarsi di avere accesso a una fornitura sufficiente di chip".