Amazon, AWS에서 AI 모델을 가속화하기 위해 Cerebras 웨이퍼 스케일 칩 활용

Amazon Web Services는 금요일 AI 추론에 중점을 둔 다년간 파트너십에 따라 Cerebras의 프로세서를 자체 데이터 센터에 배치할 것이라고 밝혔습니다.

이 거래는 Amazon이 AI 모델이 프롬프트에 답변하고, 코드를 작성하며, 실시간 사용자 요청을 처리하는 속도를 높이는 새로운 방법을 제공합니다. AWS는 추론 작업에 Cerebras 기술, 웨이퍼 스케일 엔진을 포함하여 사용할 것이라고 밝혔습니다.

회사들은 재무 조건을 공유하지 않았습니다. 이 구성은 Amazon Bedrock 내부의 AWS 데이터 센터에 계획되어 있어, 파트너십이 Amazon의 주요 AI 제품 중 하나 내부에 위치하게 됩니다.

AWS는 시스템이 Amazon Trainium 기반 서버, Cerebras CS-3 시스템 및 Amazon의 Elastic Fabric Adapter 네트워킹을 결합할 것이라고 밝혔습니다.

올해 후반, AWS는 또한 선도적인 오픈 소스 대규모 언어 모델과 Amazon Nova를 Cerebras 하드웨어에서 제공하기로 계획했습니다. AWS의 컴퓨팅 및 ML 서비스 부사장인 David Brown은 속도가 여전히 AI 추론, 특히 실시간 코딩 지원 및 상호작용형 앱에서 주요 문제라고 말했습니다.

David는 “추론은 AI가 고객에게 실제 가치를 제공하는 곳이지만, 속도는 실시간 코딩 지원 및 상호작용형 앱과 같은 까다로운 워크로드에 대해 여전히 중요한 병목 현상입니다.”라고 말했습니다.

Amazon, 프리필 및 디코드를 별도 칩으로 분리

AWS는 이 설계가 추론 분할(inference disaggregation)이라는 방법을 사용한다고 밝혔습니다. 이는 AI 추론을 두 부분으로 나누는 것을 의미합니다. 첫 번째 부분은 프롬프트 처리, 즉 프리필입니다. 두 번째 부분은 출력 생성, 즉 디코딩입니다.

AWS는 두 작업이 매우 다르게 동작한다고 밝혔습니다. 프리필은 병렬 처리, 계산 집약적이며 중간 정도의 메모리 대역폭이 필요합니다. 디코딩은 직렬 처리, 계산량이 적고 메모리 대역폭에 훨씬 더 의존적입니다. 디코딩은 이러한 경우 대부분의 시간을 차지하는데, 이는 각 출력 토큰을 하나씩 생성해야 하기 때문입니다.

이것이 AWS가 각 단계에 다른 하드웨어를 할당하는 이유입니다. Trainium은 프리필을 처리합니다. Cerebras CS-3은 디코딩을 처리합니다.

AWS는 저지연성, 고대역폭 EFA 네트워킹이 양쪽을 연결하여 시스템이 하나의 서비스로 작동하면서 각 프로세서가 별도의 작업에 집중할 수 있도록 한다고 밝혔습니다.

David는 “우리가 Cerebras와 함께 구축하는 것은 이를 해결합니다: 추론 워크로드를 Trainium과 CS-3으로 분할하고 Amazon의 Elastic Fabric Adapter로 연결함으로써, 각 시스템은 가장 잘하는 일을 수행합니다. 그 결과는 오늘날 사용 가능한 것보다 10배 더 빠르고 높은 성능을 가진 추론이 될 것입니다.”라고 말했습니다.

AWS는 또한 이 서비스가 AWS Nitro System에서 실행될 것이라고 밝혔습니다. 이는 클라우드 인프라의 기본 계층입니다.

이는 Cerebras CS-3 시스템과 Trainium 기반 인스턴스가 AWS 고객이 이미 사용하는 것과 동일한 보안, 격리 및 일관성으로 작동할 것으로 예상됨을 의미합니다.

Amazon, Nvidia가 또 다른 위협에 직면하면서 Trainium을 더 강력하게 추진

발표는 또한 Amazon이 Nvidia, AMD 및 기타 대형 칩 회사들의 칩에 대항하여 Trainium을 밀어붙일 수 있는 또 다른 기회를 제공합니다. AWS는 Trainium을 학습 및 추론 전반에 걸쳐 확장 가능한 성능과 비용 효율성을 위해 구축된 자체 AI 칩으로 설명합니다.

AWS는 두 주요 AI 연구소가 이미 이에 동의했다고 밝혔습니다. Anthropic은 AWS를 주요 학습 파트너로 지정하고 Trainium을 사용하여 모델을 학습 및 배포합니다. OpenAI는 Stateful Runtime Environment, 프론티어 모델 및 기타 고급 워크로드를 위해 AWS 인프라를 통해 2기가와트의 Trainium 용량을 소비할 예정입니다.

AWS는 Trainium3가 최근 출시 이후 강력한 채택을 보였으며, 다양한 산업의 고객들이 주요 용량을 약속했다고 덧붙였습니다.

Cerebras는 구성의 디코딩 부분을 처리합니다. AWS는 CS-3이 디코딩 가속화에 전념하여 빠른 출력 토큰을 위한 더 많은 공간을 제공한다고 밝혔습니다. Cerebras는 CS-3이 세계 최속 AI 추론 시스템이며, 최속 GPU보다 수천 배 더 큰 메모리 대역폭을 제공한다고 말합니다.

회사는 추론 모델이 이제 추론 작업의 더 큰 비중을 차지하고 문제를 해결하면서 요청당 더 많은 토큰을 생성한다고 말했습니다. Cerebras는 또한 OpenAI, Cognition, Mistral 및 기타 기업들이 특히 에이전트 코딩과 같은 까다로운 워크로드에 자신의 시스템을 사용한다고도 밝혔습니다.

Cerebras Systems의 설립자이자 최고 경영자인 Andrew Feldman은 “AWS와 파트너십을 맺어 분할된 추론 솔루션을 구축하는 것은 최속 추론을 글로벌 고객 기반에게 가져올 것입니다.”라고 말했습니다.

앤드류는 "전 세계 모든 기업은 기존 AWS 환경에서 초고속 추론의 혜택을 받을 수 있을 것입니다."라고 덧붙였습니다.

이번 계약은 엔비디아에 추가적인 압박을 가하고 있습니다. 엔비디아는 12월 그로프(Groq)와 200억 달러 규모의 라이선스 계약을 체결했으며, 다음 주 그로프 기술을 활용한 새로운 추론 시스템을 공개할 예정입니다.