OpenAI의 메가 AI 도시 계획은 맞춤형 칩 돌파구에 달려 있습니다

OpenAI는 자체 칩, 자체 인프라, 그리고 뉴욕시 두 개를 밝힐 수 있는 충분한 전력을 갖춘, 기계가 건설한 문명의 청사진을 그리고 있는 것으로 보입니다.

회사의 거대한 AI 도시 비전은 거의 불가능에 가까운 비전을 실현하는 데 기반을 두고 있습니다: Sam Altman CEO가 미래의 “컴퓨팅 척추”라고 부르는 것을 지원하기 위해 Broadcom과 파트너십을 맺어 수십억 개의 맞춤형 칩을 설계하고 생산하는 것입니다.

Sam은 월스트리트 저널과의 인터뷰에서 사람들이 요구하는 인공지능 서비스를 제공하려면 사용자당 최소 하나의 AI 전용 칩이 필요할 것이라고 밝혔는데, 이는 수십억 개에 달하는 놀라운 예측입니다.

Allen Institute for AI의 수장인 Ali Farhadi는 이 규모를 지지하며, AI가 약속된 속도로 인간 노동을 대체한다면 “세상은 기존 칩과 동일한 수의 AI 칩을 필요로 할 것”이라고 말했습니다. OpenAI에게 이는 비용, 전력 소비, 그리고 수요 폭발 속에서도 모델의 장기적 생존을 위한 통제력 확보와 관련이 있습니다.

OpenAI,次世代 컴퓨팅을 위해 Broadcom, Nvidia 및 메모리 거대 기업과 연결

Nvidia는 여전히 약 70%의 시장 점유율을 차지하며 AI 학습 공간을 지배하고 있으므로, OpenAI는 모델 학습을 위해 여전히 Nvidia의 GPU를 사용해야 합니다.

하지만 OpenAI는 이제 파이프라인을 분할하고 있습니다: 학습은 Nvidia에서 이루어지고, 추론(사용자에게 답변을 제공하는 과정)은 Broadcom의 맞춤형 실리콘으로 이동합니다. 이 이원화 설계는 모든 백분율 포인트가 중요한 규모에서 비용과 전력 사용을 절감할 수 있습니다.

SemiAnalysis의 반도체 연구원 Jordan Nanos는 Broadcom이 OpenAI를 위해 “전형적인 AI 칩 레시피를 재믹스하고 있다”고 말했습니다. 이러한 칩은 범용 제품이 아닙니다. 삼성과 SK하이닉스가 공급하는 고대역폭 메모리를 필요로 하는 OpenAI의 모델에 맞춰 특별히 설계되고 있으며, 회사는 최근 이 두 기업과 파트너십을 맺었습니다.

이러한 유형의 메모리는 프로세서 간 데이터 이동을 빠르게 하여, OpenAI의 Pulse와 같은 시스템에 필수적입니다. Pulse는 사용자에게 브리핑하기 위해 매일 웹을 스캔하는 AI 에이전트로, Sam에 따르면 Pro 등급 월 $200 구독자에게만 제한될 정도로 엄청난 컴퓨팅 파워를 소비합니다.

이러한 고대역폭 메모리에 대한 의존도는 OpenAI의 모델 작동 방식과 직접적으로 연결됩니다. 초기 신경망은 각 쿼리에 대해 시스템의 큰 부분을 활성화하는 “밀집(dense)” 방식이었습니다. 새로운 모델은 “희소성(sparsity)”을 사용하여 특정 전문가 섹션만 활성화합니다.

현대 시스템은 질문에 답하기 위해 모델의 25%를 사용하는 대신, 그 극히 일부분만 활성화합니다. 이 차이는 전력 소모를 대폭 줄이고 응답 속도를 높입니다. 이러한 희소성 논리를 중심으로 설계된 칩은 효율성을 비약적으로 높이며, Broadcom이 바로 이러한 하드웨어를 가능하게 하는 기업입니다.

OpenAI의 기가와트 규모 AI 슈퍼컴퓨터가 인프라를 재정의합니다

Sam은 OpenAI의 현재 컴퓨팅 발자국이 전 세계 데이터 센터에 걸쳐 약 2기가와트라고 말했습니다. Broadcom과의 파트너십은 2030년까지 최대 10기가와트를 구축하는 것을 목표로 하며, 이는 내부人士들이 AI 도시라고 부르는 것의 물리적 기반을 형성합니다. 이는 Broadcom의 Tomahawk Ultra 네트워킹 칩으로 연결된 서버, 스토리지, 맞춤형 인터커넥트의 밀집 캠퍼스입니다.

그것은 파도의 일부에 불과합니다. 지난 3주 동안 OpenAI은 AMD와 Nvidia로부터 16기가와트의 신규 용량 계약을 추가하여, 총량이 거의 1조 달러의 투자를 필요로 할 수 있는 수준에 도달했습니다.

xAI의 Memphis Colossus는 이미 이번 가을 1.21기가와트에 도달했습니다. Meta의 Hyperion 시설은 루이지애나에서 2.3기가와트의 승인을 받았으며, Mark Zuckerberg는 5기가와트를 목표로 하고 있습니다. AI 에너지 경쟁은 공식적으로 글로벌 차원에 진입했습니다.

Sam은 이 변혁을 “역사상 가장 큰 공동 산업 프로젝트”라고 묘사하며, 이러한 거래조차도 “우리가 도달해야 할 목표에 비하면 물 한 방울에 불과하다”고 말했습니다. 그의 목표 중 하나는 공급업체를 다각화하는 것입니다.

Oracle가 건설 중인 텍사스주 아빌레인의 Stargate 캠퍼스는 주로 Nvidia 칩을 사용한 AI 학습에 중점을 둘 것입니다. AMD 하드웨어는 추론 작업을 처리하고, Broadcom의 맞춤형 실리콘은 효율성 격차를 메웁니다.

Nanos의 말처럼, “OpenAI는 매우 먼 미래를 보고 있으며, 칩 공급을 충분히 확보할 수 있도록 노력하고 있습니다.”