세레브라스는 웨이퍼 스케일 엔진 칩을 활용한 AI 추론 서비스를 선보입니다.세레브라스 시스템즈는 화요일 개발자를 위한 AI 추론 솔루션을 발표했습니다. 회사 측 주장에 따르면, 이 솔루션은 엔비디아 제품보다 20배 빠른 훨씬 빠른 추론 속도를 제공합니다.
세레브라스는 자사의 대형 칩을 활용하여 AI 애플리케이션을 실행할 수 있도록 지원할 예정이며, 회사에 따르면 이 칩은 엔비디아 GPU보다 저렴합니다. 업계 표준인 엔비디아 GPU는 일반적으로 클라우드 서비스 제공업체를 통해 ChatGPT와 같은 대규모 언어 모델을 실행하는 데 사용됩니다. 하지만 많은 중소기업이 이러한 GPU에 접근하는 것은 쉽지 않고 비용도 많이 듭니다.
세레브라스는 자사의 새로운 칩이 GPU를 뛰어넘는 성능을 제공할 수 있다고 주장합니다
AI 추론은 이미 학습된 AI 모델을 실행하여 챗봇의 답변이나 다양한 작업 해결과 같은 출력을 도출하는 과정입니다. 추론 서비스는 오늘날 AI 애플리케이션의 핵심 기반이며, 사용자 편의를 위한 일상적인 작업에 필수적입니다.
세레브라스는 추론이 인공지능 산업에서 가장 빠르게 성장하는 분야이며, 클라우드 컴퓨팅에서 전체 인공지능 관련 워크로드의 40%를 차지한다고 밝혔습니다. 세레브라스의 CEO인 앤드류 펠드먼은 자사의 대형 칩이 GPU보다 뛰어난 성능을 제공한다고 말했습니다. 그는 GPU는 이 수준에 도달할 수 없다고 강조했습니다. 펠드먼 CEO는 로이터와의 인터뷰에서 이같이 밝혔습니다.
그는 덧붙였다
"최고 수준의 정확도로 서비스를 제공하며, 최저 가격으로 제공합니다." 출처 : 로이터
CEO는 기존 AI 추론 서비스가 모든 고객을 만족시키지는 못한다고 말했습니다. 그는 샌프란시스코에서 별도의 기자들에게 "더 빠르고 비용 효율적인 솔루션에 대한 다양한 관심이 나타나고 있다"고 밝혔습니다.
지금까지 엔비디아는 최고 수준의 칩과 CUDA(Compute Unified Device Architecture) 프로그래밍 환경을 통해 AI 컴퓨팅 시장을 장악해 왔습니다. 이를 통해 엔비디아는 다양한 개발 도구를 제공하여 개발자들을 자사 생태계 내에 묶어둘 수 있었습니다.
Cerbras 칩은 Nvidia H100 GPU보다 메모리가 7000배 더 많습니다
세레브라스는 자사의 고속 추론 서비스가 AI 산업의 전환점이 될 것이라고 밝혔습니다. 이 회사의 새로운 칩은 접시만 한 크기로, 웨이퍼 스케일 엔진(Wafer Scale Engine)이라고 불립니다. 이 칩은 초당 1,000개의 토큰을 처리할 수 있는데, 회사 측은 이를 광대역 인터넷 도입에 비견할 만하다고 설명했습니다.
회사에 따르면, 새로운 칩은 다양한 AI 모델에 대해 서로 다른 출력량을 제공합니다. Llama 3.1 8B의 경우, 새로운 칩은 초당 최대 1800개의 토큰을 처리할 수 있으며, Llama 3.1 70B의 경우 초당 450개의 토큰을 처리할 수 있습니다.
세레브라스는 100만 토큰당 10센트라는 저렴한 가격으로 추론 서비스를 제공하고 있습니다. 이는 GPU 기반 서비스보다 저렴한 가격입니다. 업계에서는 일반적으로 다른 접근 방식들이 성능을 위해 정확도를 희생하는 경향이 있다고 보지만, 세레브라스의 새로운 칩은 정확도를 유지할 수 있다고 회사 측은 주장합니다.
세레브라스는 다양한 형태의 AI 추론 제품을 제공할 것이라고 밝혔습니다. 회사는 클라우드 기반 추론 서비스와 개발자 키를 출시할 계획입니다. 또한 데이터 센터 고객과 자체 시스템 운영을 원하는 사용자에게 새로운 칩을 판매할 예정입니다.
새로운 웨이퍼 스케일 엔진 칩은 자체 통합 냉각 및 전력 공급 모듈을 갖추고 있으며, 세레브라스(Cerebras)의 CS-3 데이터 센터 시스템의 일부로 제공됩니다. 여러 보도 , 세레브라스 CS-3 시스템은 이 회사의 추론 서비스의 핵심 기반입니다.
이 시스템은 엔비디아 H100 GPU보다 7000배 더 많은 메모리 용량을 자랑합니다. 이는 많은 칩 제조업체들이 해결하고자 노력하는 메모리 대역폭이라는 근본적인 문제도 해결합니다.
세르브라스는 상장 기업으로 거듭나기 위해 노력하고 있습니다. 이를 위해 이번 달에 미국 증권거래위원회(SEC)에dent투자설명서를 제출했습니다.
