Amazon은 이번 주에 최신 AI 교육 칩인 Trainium3를 출시하면서 Nvidia와 Google이 장악하고 있는 하드웨어 시장에 직접 도전장을 내밀었습니다.
아마존 웹 서비스(Amazon Web Services)dent 데이브 브라운(Dave Brown)과의 인터뷰에 따르면, 이 가속기는 이미 소규모 AWS 데이터 센터에서 운영 중이며 화요일부터 고객에게 공개될 예정입니다. 데이브 브라운 부사장은 회사가 이 문제를 완화하지 않을 것이라고 밝혔습니다.
"내년 초가 되면 매우 빠르게 규모를 확장할 것입니다."라고 그는 말했습니다. 목표는 간단합니다. 개발자들이 다른 곳으로 지출하는 것을 지켜보는 대신, 아마존 랙에서 직접 더 많은 컴퓨팅을 판매하는 것입니다.
AWS는 여전히 임대 컴퓨팅 및 스토리지 부문에서 글로벌 클라우드 시장을 선도하고 있습니다. 하지만 이러한 우위는 대규모 AI 훈련에는 제대로 적용되지 않았습니다. 일부 개발자들은 OpenAI와의 연계성 때문에 Microsoft에 의존하고 있습니다.
다른 기업들은 구글과 자사 칩을 사용합니다. 아마존은 이제 Trainium3를 사용하여 가격에 민감한 팀을 다시 자사 산하로 끌어들이고 있습니다. 핵심은 모든 것을 AWS 내부에서 처리하면서 작업 단위당 비용을 낮추는 것입니다.
Amazon, 클라우드 규모로 Trainium3 출시
Trainium3는 아마존이 마지막 버전을 배포한 지 약 1년 만에 출시되었습니다. 이러한 속도는 칩 표준의 빠른 속도에 해당합니다. 8월 칩이 처음 작동했을 때, 한 AWS 엔지니어는 "우리가 여기서 가장 바라는 것은 연기나 불꽃이 보이지 않는 것입니다."라고 농담을 했습니다. 이러한 빠른 업그레이드 주기는 엔비디아가 매년 새로운 칩을 출시한다는 공식 계획을 반영하는 것이기도 합니다.
Amazon은 Trainium 칩이 AI 모델의 핵심 연산을 Nvidia의 최고급 GPU보다 저렴하고 전력 소모도 적으면서도 효율적으로 처리한다고 말합니다. Dave는 "Trainium을 통해 적절한 가격 대비 성능을 확보할 수 있어 매우 만족합니다."라고 말했습니다. 모델 크기가 커지고 학습 비용이 계속 증가함에 따라, 회사는 가격 경쟁력을 강화하고 있습니다.
아직 한계가 있습니다. 아마존 칩은 엔비디아 하드웨어에서 팀이 빠르게 움직일 수 있도록 하는 심층적인 소프트웨어 라이브러리를 탑재하지 않습니다. 인간의 제어 없이 AI를 사용하여 건설 장비를 운전하는 베드록 로보틱스는 AWS 서버에서 주요 시스템을 운영합니다. 굴삭기 안내 모델을 훈련할 때는 여전히 엔비디아 칩을 사용합니다. 베드록 로보틱스의 최고기술책임자(CTO)인 케빈 피터슨은 "우리는 고성능과 사용 편의성을 갖춰야 합니다. 그것이 바로 엔비디아입니다."라고 말했습니다.
현재 Trainium의 용량 대부분은 Anthropic으로 흘러갑니다. 이 칩은 인디애나, 미시시피, 펜실베이니아에 있는 데이터 센터에서 구동됩니다. 올해 초 AWS는 Anthropic의 최신 모델을 학습시키기 위해 50만 개 이상의 Trainium 칩을 연결했다고 밝혔습니다. Amazon은 연말까지 이 숫자를 100만 개로 늘릴 계획입니다.
아마존은 Trainium의 미래를 Anthropic의 성장과 자사 AI 서비스에 연계하고 있습니다. Anthropic을 제외하고 현재까지 아마존이 대형 고객을 확보한 사례는 매우 드뭅니다. 이로 인해 분석가들은 Trainium이 더 광범위한 환경에서 얼마나 좋은 성능을 보이는지 판단할 수 있는 데이터가 부족합니다.
Anthropic은 자체 컴퓨팅 위험도 분산합니다. 여전히 구글의 텐서 프로세싱 유닛(TPU)을 사용하고 있으며, 올해 구글과 수백억 달러 규모의 컴퓨팅 파워에 대한 접근 권한을 제공하는 계약을 체결했습니다.
Amazon은 공개했습니다 . 이 행사는 새로운 모델을 구축하는 개발자와 대규모 이용을 위해 비용을 지불할 의향이 있는 기업을 대상으로 AI 도구와 인프라를 끊임없이 선보이는 자리로 전환되었습니다.
Amazon이 Nova 업데이트를 출시하고 Nova Forge를 오픈했습니다.
화요일, 아마존은 Nova라는 주요 AI 모델 제품군을 업데이트했습니다. 새로운 Nova 2 제품군에는 Omni라는 버전이 포함됩니다.
Omni는 텍스트, 이미지, 음성 또는 비디오를 입력으로 받습니다. 텍스트와 이미지 모두로 응답할 수 있습니다. Amazon은 다양한 입력 유형과 모델 비용을 결합하여 대규모로 일상적으로 사용할 수 있도록 설계된 패키지 형태로 판매하고 있습니다.
아마존은 여전히 달러당 성능을 기준으로 모델 가격을 책정하고 있습니다. 과거 Nova 모델들은 정해진 질문에 대한 답을 평가하는 표준 테스트 순위에서 상위권에 들지 못했습니다. 아마존은 테스트 차트 대신 실제 사용 경험을 중시하고 있습니다.
Amazon의 모델 작업과 인공 일반 지능 팀을 이끄는 로히트 프라사드는 "진정한 벤치마크는 현실 세계입니다."라고 말하며, 새로운 모델이 실제 환경에서 경쟁할 것으로 기대한다고 덧붙였습니다.
Amazon은 Nova Forge라는 새로운 제품을 통해 고급 사용자에게 더욱 심층적인 모델 제어 기능을 제공합니다. 이를 통해 팀은 훈련이 종료되기 전에 Nova 모델의 버전을 가져와서 자체 데이터를 사용하여 모델을 형성할 수 있습니다.
Reddit은 이미 Nova Forge를 사용하여 게시물의 안전 규칙 위반 여부를 확인하는 모델을 구축하고 있습니다. Reddit의 최고기술책임자(CTO)인 크리스 슬로위는 많은 AI 사용자들이 특정 분야에만 집중하는 대신 모든 작업에 대해 가능한 가장 큰 규모의 모델을 사용한다고 말했습니다. 그는 "특정 분야의 전문가로 만들 수 있다는 사실이 바로 가치의 원천입니다."라고 말했습니다.
Trainium3가 데이터 센터에서 활성화되고 Nova 모델이 동시에 업데이트됨에 따라, Amazon은 두 가지 전선에서 동시에 경쟁하고 있습니다. 하드웨어 경쟁은 Nvidia와 치열하게 펼쳐지고, 모델 경쟁은 Microsoft가 지원하는 OpenAI와 Google에 맞서고 있습니다. 이제 다음 단계는 완전한 클라우드 규모에서 고객이 직접 사용하는 것입니다.
