마이크로소프트, 새로운 컴파일러 스위트와 함께 AI 개발 혁신

마이크로소프트는 Rammer, Roller, Welder, Grinder라는 네 가지 최첨단 AI 컴파일러 스위트의 공개와 함께 인공지능 분야에서 중요한 도약을 이루었다. 이러한 강력한 도구들은 AI 모델이 최적화되는 방식을 혁신하여 개발을 더 빠르고, 더 좋으며, 더 강력하게 만들 예정이다.

학술 기관과의 협력 노력

마이크로소프트 리서치가 선도적인 학술 기관과 협력하여 개발한 이러한 컴파일러들은 AI 컴파일링 영역에서 정점에 달한 성과이다. 이들은 인간이 읽을 수 있는 소스 코드를 컴퓨터가 효율적으로 실행할 수 있는 1과 0의 문자열인 기계 코드로 변환하는 데 뛰어났다. 궁극적인 목표는 GPU와 같은 하드웨어 가속기에서 실행될 때 주류 AI 모델의 성능을 향상시키는 것이다.

마이크로소프트 리서치의 블로그 게시물에서 회사는 이러한 컴파일러에 투자된 광범위한 연구 및 개발을 강조한다. MSR 아시아의 수석 연구원인 Jilong Xue는 그들의 잠재적 영향을 강조하며 “우리가 개발한 AI 컴파일러는 AI 컴파일링 효율성에 상당한 개선을 보여주었으며, 이는 AI 모델의 훈련과 배포를 용이하게 한다”고 말했다.

AI 컴파일링의 네 가지 기둥

네 가지 새로운 컴파일러 각각은 AI 워크로드 최적화에서 고유한 도전에 대응하며, 이 분야에서 획기적인 진전을 약속한다.

1. Rammer: 하드웨어 병렬성 극대화

   – Rammer는 성능에 중요한 요소인 하드웨어 병렬성 극대화에 중점을 둔다. 이는 런타임 스케줄링 오버헤드를 최소화하고 병렬 리소스의 활용을 최적화하여 이를 달성한다. 테스트 결과 Rammer의 우월성이 입증되었으며, GPU에서 다른 컴파일러보다 최대 20배 뛰어나다.

2. Roller: 컴파일링 가속화

   – Roller는 빠른 구축 알고리즘을 사용하여 컴파일링을 가속화한다. 이는 설계 프로세스를 간소화하여 일반적으로 몇 시간이 걸리는 것에서 몇 초 만에 최적화된 커널을 생성할 수 있게 한다. Roller는 최신 성능에 못지않을 뿐만 아니라 종종 초과한다.

3. Welder: 메모리 효율성 향상

   – Welder는 집중된 파이프라인에서 연산자를 연결하여 메모리 접근 트래픽을 처리하고 비용을 절감한다. 이는 더 큰 효율성을 위해 메모리 최적화를 단일 프레임워크로 통합한다. Welder는 GPU에서 PyTorch와 같은 프레임워크보다 최대 21배 뛰어나다.

4. Grinder: 제어 흐름 실행 최적화

   – Grinder는 데이터 흐름과 통합하여 가속기에서 제어 흐름 실행을 최적화하도록 설계되었다. 이 혁신적인 접근 방식은 전문가가 견습생에게 더 빠르게 작업하는 방법을 안내하는 것과 유사하게 제어 흐름 경계를 넘어 최적화를 가능하게 한다. Grinder는 제어 흐름이 있는 모델을 최대 8배까지 가속화한다.

마이크로소프트의 AI 발전에서의 지속적인 리더십

마이크로소프트는 오랫동안 AI 발전의 최전선에 있었다. AI 연구 기업인 OpenAI와의 협력은 ChatGPT와 Bing Chat과 같은 솔루션을 powering하는 GPT-3.5 및 GPT-4와 같은 돌파구를 이끌었다. 또한, Meta와의 파트너십은 LLaMA-2를 마이크로소프트의 클라우드 컴퓨팅 제공 사항에 통합했다. 회사는 또한 ChatGPT와 같은 모델의 추론을 향상시키기 위해 사고의 알고리즘을 도입했다.

기존 솔루션을 능가

엄격한 테스트에서 마이크로소프트의 컴파일러는 여러 벤치마크에서 기존 솔루션을 능가했다. Rammer는 GPU에서 다른 컴파일러보다 최대 20배 뛰어나다는 점에서 두드러졌다. Roller는 최신 성능에 못지않을 뿐만 아니라 종종 초과하여 컴파일링 시간을 drasticaly 줄였다. Welder는 GPU에서 PyTorch와 같은 프레임워크보다 최대 21배 뛰어나다는 것을 입증했다. Grinder는 제어 흐름이 있는 모델을 최대 8배까지 가속화하는 데 뛰어났다.

Rammer, Roller, Welder, Grinder의 도입은 마이크로소프트가 AI 시스템을 발전시키려는 의지를 강조한다. OpenAI와의 것과 같은 고조된 파트너십이 헤드라인을 장식하지만, 회사는 또한 배경에서 AI를 지원하기 위한 중요한 소프트웨어 인프라를 적극적으로 개발한다.

기존 솔루션에 비해 상당한 성능 향상으로, 이러한 컴파일러는 AI 워크로드가 점점 더 복잡해짐에 따라 주요 경쟁 우위를 제공할 것으로 예상된다. 마이크로소프트의 “헤비 메탈 쿼텟”은 더 효율적이고 강력하며 접근 가능한 인공 지능을 향한 여정에서 중요한 이정표를 나타낸다.