엔비디아의 $20B 칩은 ChatGPT를 느리게 보이게 할 수 있습니다

칩 거대 기업 NVIDIA 채팅봇 및 기타 AI 도구가 응답을 생성하는 속도를 높이기 위해 설계된 강력한 새로운 AI 프로세서를 공개할 준비를 하고 있으며, 이는 현재 시스템인 ChatGPT 비교해 느리게 보이게 할 가능성이 있습니다.

예상대로라면 새로운 플랫폼은 엔비디아의 연례 GTC 개발자 컨퍼런스에서 debut할 예정이며, 이는 훈련된 모델이 사용자 프롬프트에 대한 답변을 생성하는 단계인 AI 추론에 최적화되어 있습니다. 훈련과 추론 모두를 처리하도록 설계된 전통적인 GPU와 달리, 차기 프로세서는 응답을 더 빠르고 효율적으로 제공하는 데 특화되어 있습니다.

이 제품이 출시된다면, 이는 그롭(Groq)의 설립자들을 영입한 12월의 협정이 가져온 첫 번째 구체적인 결과가 될 것입니다. 그롭은 고속 AI 처리 하드웨어를 전문으로 하는 회사입니다.

작년 말, 엔비디아는 칩 스타트업 그롭으로부터 기술을 라이선스하고 그 CEO를 포함한 핵심 인력을 영입하기 위해 약 200억 달러를 지출한 것으로 보고되었습니다. 같은 시기, 엔비디아 CEO 젠슨 황은 직원들에게 “저희는 그롭의 저지연 프로세서를 엔비디아 AI 팩토리 아키텍처에 통합하여, 이 플랫폼을 더 광범위한 AI 추론 및 실시간 워크로드에 제공하도록 확장할 계획입니다”라고 말했습니다.

이제 새로운 추론 칩은 복잡한 AI 쿼리를 고속으로 처리할 것으로 예상되며, OpenAI 및 기타 주요 고객이 이를 채택할 가능성이 있다고 월스트리트 저널은 전했습니다. 그 보고서에 따르면 새로운 칩은 오픈AI의 추론 워크로드의 약 10%를 처리할 수 있을 것으로 보입니다.

그롭 스타일 칩은 SRAM을 사용할 예정입니다. 출처: 소식통

최근 실적 통화에서 엔비디아 CEO는 여러 새로운 제품 이 종종 ‘AI의 슈퍼볼’로 묘사되는 다가오는 GTC 행사에서 공개될 것이라고 암시했습니다. 그는 “GTC에서 여러분과 공유하고 싶은 멋진 아이디어가 몇 가지 있습니다”라고 언급했습니다. 

대부분의 분석가들은 그롭 스타일 칩이 라인업의 일부가 될 수 있다고 동의합니다. 또한 그들은 이 칩의 설계가 엔비디아가 추론 컴퓨팅의 메모리 제약 문제를 어떻게 해결하려는지 밝힐 수 있다고 밝혔습니다. 이러한 플랫폼은 일반적으로 고대역폭 메모리(HBM)에서 실행됩니다. 그러나 최근 HBM은 조달이 어려웠습니다.

내부 소식통들은 전했습니다 회사가 HBM과 관련된 동적 RAM(DRAM) 대신 칩에 SRAM을 사용할 계획이라고 전했습니다. 이상적으로 SRAM은 더 접근하기 쉽고 AI 추론 워크로드의 성능을 향상시킬 수 있습니다.

칩이 출시된다면 이는 칩 회사와 AI 훈련 모델 모두에게 큰 진전이 될 수 있습니다. 그러나 가능한 출시와 관련해 d-Matrix의 설립자이자 CEO인 Sid Sheth는 개발에 대해 부정적인 전망을 제시했습니다. 그는 엔비디아가 AI 훈련 분야에서 명확한 리더로 남아 있지만, 추론은 매우 다른 환경이라고 지적했습니다. 그는 “개발자는 훈련할 때와 같은 프로그래밍이 필요하지 않기 때문에 엔비디아 이외의 경쟁자를 이용할 수 있습니다”라고 공유했습니다. 

그럼에도 불구하고 다른 기술 거대 기업들도 추론 컴퓨팅을 발전시키고 있습니다. 메타는 이번 주 추론에 특화된 4개의 프로세서를 공개했으며, 이는 실리콘 밸리의 한 투자자가 산업이 ‘엔비디아 우위’가 아닌 시대로 진입할 수 있다고 말하게 했습니다.

그러나 최근에는 엔비디아의 경쟁사인 FuriosaAI의 최고 경영자인 June Paik이 쉽게 배포 가능한 추론 컴퓨팅의 이점에 대해 논평하며, 대부분의 데이터 센터가 최신 액체 냉각 GPU를 수용할 수 없다고 경고했습니다.

그럼에도 불구하고 그의 우려에도 불구하고, 뱅크 오브 아메리카 분석가들은 2030년까지 추론 워크로드가 AI 데이터 센터 지출의 75%를 차지할 것으로 예상하며, 이는 작년 약 50%에서 약 1.2조 달러 규모로 성장하는 시장입니다. 크리에이티브 스트래티지의 기술 분석가인 Ben Bajarin은 미래의 데이터 센터가 일률적인 모델에 적합하지 않을 것이라고 주장하며, 기업들이 칩 및 시설 개발에 서로 다른 접근 방식을 취할 것이라고 예측했습니다.

엔비디아는 2026 후반에 Vera Rubin 칩을 출시할 예정입니다.

엔비디아는 또한 최근 차세대 AI 칩인 Vera Rubin AI 칩을 출시했으며, 이는 딥시크(DeepSeek) 와 같은 추론 AI 플랫폼의 부상이 더욱 큰 컴퓨팅 수요를 불러일으킬 것으로 예상됩니다. 엔비디아는 이 칩이 더 큰 AI 모델을 훈련하고 더 광범위한 사용자 기반에게 더 정교한 출력을 제공할 수 있다고 주장했습니다. 

황 CEO에 따르면, 루빈은 2026년 하반기에 시장에 출시될 예정이며, 2027년에는 고급 ‘울트라’ 버전이 출시될 예정입니다.

그는 또한 단일 루빈 시스템이 576개의 개별 GPU를 단일 칩으로 결합할 것이라고 설명했습니다. 현재 엔비디아의 블랙웰 칩은 NVL72 시스템에 72개의 GPU를 클러스터링하므로, 루빈은 더 발전된 메모리를 특징으로 할 것입니다.