오픈AI, 엔비디아 추론 하드웨어에 불만, AMD, 세레브라스, 그록 검토 중

오픈AI는 더 이상 엔비디아의 AI 칩에 만족하지 않습니다. 특히 사용자가 답변하는 속도에 대해 불만이 큽니다. 이 회사는 지난해 다른 옵션을 찾기 시작했으며, 이제 AMD, 세레브라스와 논의 중이며, 그 전에 그록(Groq)과도 논의했습니다.

오픈AI가 엔비디아 칩이 코딩 작성 및 소프트웨어 간 작업과 같은 특정 작업에 충분히 빠르지 않다는 것을 깨닫자 이러한 긴장은 현실화되기 시작했습니다.

한 내부 관계자는 오픈AI가 향후 추론 요구 사항의 최소 10%를 처리할 수 있는 새로운 칩을 원한다고 밝혔습니다. 이는 AI가 학습하는 부분이 아니라 사용자에게 응답하는 부분입니다.

오픈AI는 코딩 및 사용자 응답을 위한 더 빠른 칩을 원합니다

오픈AI의 현재 작업 대부분은 여전히 엔비디아에서 실행되지만, 백그라운드에서는 모든 것을 더 빠르게 만들 수 있는 칩을 테스트 중입니다.

이에는 메모리를 프로세서 바로 옆에 배치하여 속도를 높이는 SRAM이 탑재된 칩이 포함됩니다. 엔비디아와 AMD는 여전히 칩 외부에 있는 메모리를 사용하여 속도가 느려집니다.

오픈AI 내부자들은 코딩을 작성하는 도구인 Codex에서 느림이 가장 큰 문제라고 지적했습니다. 일부 직원은 약한 성능을 엔비디아 하드웨어 탓으로 돌렸습니다. 1월 30일 기자회견에서 오픈AI CEO 샘 알트만은 “우리의 코딩 모델을 사용하는 고객들은 코딩 작업에 속도를 매우 중요하게 여길 것”이라고 말했습니다.

샘은 일반 ChatGPT 사용자는 속도에 크게 신경 쓰지 않지만, 개발자와 기업에게는 매초가 중요하다고 덧붙였습니다. 그는 오픈AI가 세레브라스와 속도를 높이기 위한 계약을 체결했다고 말했습니다.

동시에 앤트로픽(Anthropic)과 구글은 자체 칩을 사용하여 더 나은 결과를 얻고 있습니다. 구글의 TPU는 추론 작업에 특화되어 구축되었으며, 이는 특히 Claude 및 Gemini와 같은 모델에서 응답 속도를 빠르게 만듭니다.

엔비디아 라이선스 계약 체결 후 오픈AI-그록 대화 중단

오픈AI는 빠른 칩을 구축하는 또 다른 스타트업인 그록과도 논의 중이었지만, 그 대화는 진전이 없었습니다. 엔비디아가 그록과 200억 달러 규모의 라이선스 계약을 체결하면서 엔비디아는 그록의 디자인에 접근할 수 있게 되었고, 오픈AI의 그록과의 협력 계획은 무산되었습니다.

상황에 정통한 한 소식통은 그록의 칩이 오픈AI가 필요로 하는 것에 정확히 부합한다고 말했습니다. 하지만 엔비디아가 계약을 체결한 후 그 문은 닫혔습니다. 라이선스가 비배타적이었음에도 불구하고, 그록은 이제 클라우드 기반 소프트웨어에 집중하고 있으며, 엔비디아는 그록의 칩 설계자 일부를 자체적으로 확보했습니다.

반면 세레브라스는 엔비디아가 그들을 인수하려고 했을 때 거절했습니다. 대신 그들은 오픈AI와 자체 계약을 진행했습니다. 그록은 140억 달러 가치의 투자 제안을 받았지만, 이는 엔비디아와 묶이면서 상황이 달라졌습니다.

오픈AI는 엔비디아와 완전히 손을 끊은 것은 아닙니다. 공개 성명에서 대변인은 “우리는 추론 플릿의 대부분을 구동하기 위해 엔비디아에 의존한다”며 “달러당 성능이 시장에서 최고”라고 말했습니다. 엔비디아도 “고객들은 규모 있는 추론에서 최고의 성능과 총 소유 비용(TCO)을 제공하기 때문에 계속 엔비디아를 선택하고 있다”고 말했습니다.

100억 달러 엔비디아 투자 계약 여전히 교착 상태

작년 엔비디아는 오픈AI에 최대 1,000억 달러를 투자할 계획이라고 밝혔습니다. 이 자금은 오픈AI가 더 고급 칩을 구매하는 데 도움이 되며, 그 대가로 엔비디아는 회사 지분을 얻게 됩니다. 로이터는 이 계약이 몇 주 내에 완료될 예정이라고 보도했습니다. 하지만 아직 완료되지 않았습니다.

그 계약이 보류되는 동안, 오픈AI는 엔비디아와 직접 경쟁할 수 있는 칩을 테스트하기 위해 AMD 및 기타 기업과 계약을 체결했습니다. 하지만 오픈AI가 제품 계획을 변경함에 따라 필요한 하드웨어 종류도 변경되었습니다. 상황에 정통한 한 소식통은 이로 인해 논의가 더 지연되었다고 말했습니다.

토요일, 엔비디아 CEO 젠슨 황은 마찰에 대해 “그건 헛소리”라고 말하며 엔비디아가 여전히 오픈AI에 대규모 투자를 계획하고 있다고 고집했습니다. 하지만 배후에서는 양측이 옵션을 모색하고 있는 것이 분명합니다.

동시에 엔비디아는 새로운 칩 아이디어를 찾고 있었습니다. 엔비디아는 세레브라스와 그록 모두에게 매수 의사가 있는지 물었습니다. 세레브라스는 이를 거절하고 오픈AI와의 계약에 더욱 집중했습니다.

현재 오픈AI는 대부분의 서비스를 GPT4o로 구동하고 있습니다. 하지만 현재 추세라면, 적어도 일부 작업은 가까운 장래에 AMD 또는 세레브라스의 칩에서 실행될 것입니다. 이 회사는 엔비디아를 완전히 버리려는 것이 아니지만, 시스템 속도를 어떻게 제어할지에 대해 더 많은 통제를 원한다는 점은 분명합니다.