- 생성형 AI 하드웨어가 메모리 아키텍처 혁신을 통해 비용을 절감하며, 대규모 언어 모델의 접근성을 높입니다.
- SambaNova는 ‘전문가 조합(Composition-of-Experts)’ 방식을 도입해 대규모 모델을 대중화하고, 과도한 비용 없이 효율성을 제공합니다.
- Tenstorrent는 모델 아키텍처와 학습 하드웨어를 분리하여 효율성을 추구하며, 단순 학습용이 아닌 실제 활용에 적합한 모델을 보장합니다.
생성형 AI 하드웨어의 혁신은 대규모 언어 모델(LLM)의 크기 지수함수적 성장에 의해 부과된 제약에 도전하며, 저렴함, 접근성 및 효율성 toward 진전을 보이고 있습니다. 최근 패널 토론에서 업계 리더들은 이러한 시급한 도전에 대응하기 위한 전략에 대한 통찰력을 공유했습니다.
SambaNova Systems의 제품 담당 부사장 Marshall Choy는 LLM 사용 비용을 낮추는 데 있어 메모리 아키텍처의 중요한 역할을 강조했습니다. LLM이 수십억 또는 수조 개의 파라미터 수를 자랑하는 가운데, 초점은 병목 현상인 메모리로 이동했습니다. SambaNova Systems는 지연 시간, 대역폭 및 용량을 단일 프레임워크 내에서 해결하는 3단계 메모리 아키텍처를 채택했습니다. 이 혁신적인 접근 방식은 메모리 효율성이 핵심인 LLM 사용의 경제적 확장을 목표로 합니다.
대규모 모델의 민주화
LLM의 규모가 급격히 증가하면서 접근성에 상당한 과제가 제기되고 있습니다. 모델의 파라미터 수가 1조를 초과하면 관련 하드웨어 및 운영 비용이 prohibitive(금지될 정도로 비쌈)해져, 그 활용이 소수에게만 한정됩니다. 대규모 모델을 더 많은 대중이 이용할 수 있도록 하기 위해 SambaNova Systems는 “조각의 전문가(Composition-of-Experts)”라는 새로운 개념을 도입했습니다.
이 접근 방식은 복잡한 예측 모델링 문제를 하위 작업으로 분할하는 기존 “전문가의 혼합(Mixture-of-Experts)” 패러다임과 차별화됩니다. 대신 SambaNova는 정밀도와 작업 관련성을 위해 도메인 전문가 모델을 훈련시키고, 이를 조립하여 1조 파라미터를 가진 조각의 전문가 모델을 구성합니다. 이 모델은 계산 지연 시간을 최소화하고 훈련, 파인튜닝, 추론 관련 비용을 줄이면서도 이전 학습을 희생하지 않고 새로운 데이터로 지속적으로 훈련할 수 있습니다.
모델 기법을 통한 효율성
생성형 AI 하드웨어의 효율성은 하드웨어 자체를 넘어, 모델 아키텍처와 이를 실행하는 하드웨어 간의 관계로 확장됩니다. Tenstorrent의 AI 하드웨어 및 모델 담당 부사장인 Matt Mattina는 모델 아키텍처가 훈련에 사용되는 하드웨어에 의해 형성되는 피드백 루프를 끊는 것의 중요성을 강조했습니다.
Tenstorrent는 네트워크 아키텍처 검색에 하드웨어를 루프에 포함하는(Hardware-in-the-loop) 기법을 채택하여, 훈련자가 훈련 중 추론에 사용할 하드웨어를 지정할 수 있도록 합니다. 이러한 패러다임 전환은 모델이 훈련용 머신이 아닌 최종 추론용 머신에 맞춰지도록 보장하여, 실제 사용에 더 효율적인 모델을 만듭니다.
시스템 수준의 전문화
AI는 끊임없이 진화하는 분야로, 전용 칩과 커스텀 실리콘 간의 균형과 시스템 유연성 사이에서 과제를 안고 있습니다. Ampere Computing의 최고 제품 책임자(CPO)인 Jeff Wittich는 시스템 수준의 전문화를 선호하는 관점을 제시합니다. 그는 이 접근 방식이 구성 요소를 혼합하고 매칭할 수 있는 유연성을 제공하여, 빠르게 변화하는 AI 하드웨어 환경에 적응할 수 있는 다재다능한 솔루션을 생성한다고 주장합니다.
전통적으로 새로운 하드웨어를 만들고 상용화하는 데에는 수년이 걸립니다. Ampere는 다양한 훈련 및 추론 가속기를 개발하는 기업들과의 파트너십을 통해 적절한 균형을 달성하고자 합니다. Ampere는 범용 CPU를 특정 작업에 특화된 가속기와 결합함으로써 성능과 효율성을 개선할 것으로 예상합니다.
통합의 이점과 유연성
Wittich는 통합이 유연성을 희생하지 않으면서 성능과 효율성을 향상시켜야 한다는 점의 중요성을 강조합니다. 범용 CPU와 전문화된 가속기의 융합은 유망한 방안으로 간주됩니다. 시간이 지남에 따라 이러한 가속기와 CPU의 긴밀한 통합은 AI 워크로드를 더욱 최적화할 것으로 예상됩니다. 핵심 원칙은 여전히 동일합니다: 통합은 능력을 향상시켜야 하며 제약을 가해서는 안 됩니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
브렌다 카나나
브렌다는 4 년 이상의 경험을 바탕으로 암호화폐, 인공지능 및 신기술 분야를 전문으로 합니다. 그녀는 Zycrypto, Blockchain Reporter, The Coin Republic 에서 근무했으며, 현재는 Cryptopolitan 에서 활동하고 있습니다. 몬바사 공과대학교에서 사회학 학위를 취득한 그녀는 독자들의 니즈를 항상 파악하고 있습니다.
