OpenAI의 초대형 AI 도시 건설 계획은 맞춤형 칩의 획기적인 발전에 달려 있습니다

OpenAI는 자체 칩과 인프라, 그리고 뉴욕시 두 곳을 밝힐 수 있을 만큼의 전력을 자체적으로 생산하는, 기계가 만든 문명의 청사진을 그리고 있는 듯하다.

이 회사의 거대한 AI 도시 비전은 실현 가능성이 매우 낮은 비전에 기반하고 있습니다. 바로 CEO 샘 알트만이 "미래의 컴퓨팅 척추"라고 부르는 것을 지원하기 위해 브로드컴과 협력하여 수십억 개의 맞춤형 칩을 설계하고 생산하는 것입니다.

샘은 월스트리트 저널과의 인터뷰에서 사람들이 요구하는 인공지능 서비스를 제공하려면 사용자당 최소 1개의 AI 전용 칩이 필요할 것이며, 이는 수십억 건에 달하는 엄청난 규모라고 밝혔습니다.

앨런 인공지능 연구소 소장인 알리 파르하디는 이러한 규모 확장을 지지하며, 인공지능이 예상대로 인간 노동력을 대체한다면 "세계는 기존 칩만큼이나 많은 인공지능 칩을 필요로 할 것"이라고 말했습니다. 오픈AI이는 통제의 문제입니다. 비용, 전력 소비, 그리고 수요 폭증에 따른 모델의 장기적인 생존 가능성에 대한 통제가 핵심입니다.

OpenAI, 차세대 컴퓨팅을 위해 브로드컴, 엔비디아 및 메모리 업계의 거물들을 연결하다

엔비디아는 여전히 약 70%의 시장 점유율로 AI 학습 분야를 장악하고 있으며, 이것이 바로 OpenAI가 모델 학습에 엔비디아의 GPU를 계속 사용해야 하는 이유입니다.

하지만 OpenAI는 이제 파이프라인을 분리하고 있습니다. 학습은 엔비디아에서 진행하고, 추론(사용자에게 답변을 제공하는 과정)은 브로드컴의 맞춤형 칩으로 옮깁니다. 이러한trac트랙 설계는 모든 퍼센트가 중요한 규모에서 비용과 전력 사용량을 절감할 수 있습니다.

반도체 연구업체 세미애널리시스의 조던 나노스는 말했습니다 . 이 칩들은 범용 칩이 아닙니다. 오픈AI의 모델에 맞춰 특별히 설계되고 있으며, 이 모델은 삼성과 SK 하이닉스 등 오픈AI가 최근 파트너십을 맺은 두 회사가 공급하는 고대역폭 메모리를 사용합니다.

이러한 유형의 메모리는 프로세서 간 데이터 이동 속도를 높여주는데, 이는 OpenAI의 Pulse와 같은 시스템에 매우 중요합니다. Pulse는 웹을 매일 스캔하여 사용자에게 정보를 제공하는 AI 에이전트입니다. 샘은 Pulse가 엄청난 컴퓨팅 성능을 요구하기 때문에 월 200달러의 프로 요금제를 이용하는 사용자에게만 제공된다고 밝혔습니다.

이처럼 고대역폭 메모리에 대한 의존성은 OpenAI 모델의 작동 방식과 직접적으로 연결됩니다. 초기 신경망은 "밀집형"으로, 모든 질의에 대해 시스템의 많은 부분을 활성화했습니다. 반면 최신 신경망은 "희소성"을 사용하여 특정 전문가 영역만 활성화합니다.

과거처럼 모델의 25%를 사용하여 질문에 답하는 대신, 최신 시스템은 1% 미만의 부분만 사용합니다. 이러한 차이로 전력 소모가 크게 줄어들고 응답 속도가 빨라집니다. 이러한 최소한의 로직을 기반으로 칩을 설계하면 효율성이 급격히 향상되며, 브로드컴이 바로 이러한 하드웨어를 구현하는 기업입니다.

OpenAI의 기가와트급 AI 슈퍼컴퓨터가 인프라를defi

샘은 현재 오픈AI의 컴퓨팅 규모가 전 세계 데이터 센터에 분산된 약 2기가와트라고 밝혔습니다. 브로드컴과의 파트너십을 통해 2030년까지 최대 10기가와트 규모로 확장하여 업계 관계자들이 AI 도시라고 부르는, 브로드컴의 토마호크 울트라 네트워킹 칩으로 연결된 서버, 스토리지, 맞춤형 상호 연결 장치로 구성된 밀집된 캠퍼스의 물리적 기반을 구축하는 것을 목표로 하고 있습니다.

이는 전체 규모에 불과합니다. 지난 3주 동안 OpenAI는 AMD 및 Nvidia와 16기가와트 규모의 신규 용량 계약을 체결했으며, 이를 위해서는 거의 1조 달러에 달하는 투자가 필요할 것으로 예상됩니다.

xAI의 멤피스 콜로서스는 이미 지난 가을 1.21기가와트의 발전량을 달성했습니다. 루이지애나에 있는 메타의 하이페리온 시설은 2.3기가와트 규모로 승인되었으며, 마크 저커버그는 5기가와트를 목표로 하고 있습니다. 이제 AI 에너지 경쟁은 공식적으로 전 세계적인 양상을 띠고 있습니다.

샘은 이러한 변화를 "역사상 최대 규모의 공동 산업 프로젝트"라고 설명하면서, 이러한 계약조차도 "우리가 나아가야 할 방향에 비하면 새 발의 피에 불과하다"고 말했습니다. 그의 목표 중 하나는 공급업체를 다변화하는 것입니다.

오라클이 텍사스주 아빌린에 건설 중인 스타게이트 캠퍼스는 주로 엔비디아 칩을 활용한 AI 교육에 집중할 예정이다. AMD 하드웨어는 추론 워크로드를 처리하고, 브로드컴의 맞춤형 실리콘은 효율성 부족 부분을 보완할 것이다.

나노스의 말처럼, "OpenAI는 상당히 먼 미래를 내다보고 있으며, 충분한 칩 공급을 확보하려고 노력하고 있습니다."