Microsoft、新しいコンパイラスイートでAI開発を革新

Microsoftは、Rammer、Roller、Welder、Grinderという4つの最先端AIコンパイラスイートの公開により、人工知能の分野で大きな飛躍を遂げました。これらの強力なツールは、AIモデルの最適化方法を革新し、開発をより速く、より良く、より強力なものにする予定です。

学術機関との共同取り組み

Microsoft Researchが主要な学術機関と協力して開発したこれらのコンパイラは、AIコンパイルの分野における頂点の達成を表しています。これらは、人間が読みやすいソースコードをコンピュータが効率的に実行できる1と0の文字列であるマシンコードに変換することに優れています。最終的な目標は、GPUなどのハードウェアアクセラレータ上で実行される主流のAIモデルのパフォーマンスを向上させることです。

Microsoft Researchのブログ記事では、これらのコンパイラに投資された広範な研究開発が強調されています。MSR AsiaのシニアリサーチャーであるJilong Xue氏は、その潜在的な影響について次のように述べています。「私たちが開発したAIコンパイラは、AIコンパイル効率の大幅な改善を実証しており、それによってAIモデルのトレーニングと展開が促進されています。」

AIコンパイルの4つの柱

4つの新しいコンパイラそれぞれが、AIワークロードの最適化における独自の課題に対応しており、この分野における画期的な進歩を約束しています。

1. Rammer：ハードウェアの並列性を最大化

   – Rammerは、パフォーマンスにとって重要な要素であるハードウェアの並列性の最大化に焦点を当てています。これは、ランタイムスケジューリングのオーバーヘッドを最小限に抑え、並列リソースの利用を最適化することで達成されます。テストでは、Rammerの優位性が明らかになり、GPU上で他のコンパイラを最大20倍上回る結果を示しました。

2. Roller：コンパイルの加速

   – Rollerは、コンパイルを迅速化するために高速構築アルゴリズムを採用しています。設計プロセスを合理化し、通常数時間かかるものを数秒で最適化されたカーネルを生成可能にします。Rollerは最先端のパフォーマンスに匹敵するだけでなく、しばそれを上回ります。

3. Welder：メモリ効率の向上

   – Welderは、演算子を集中したパイプラインで接続することでメモリアクセストラフィックを削減し、コストを削減します。メモリ最適化を単一のフレームワークに統合し、より高い効率を実現します。Welderは、GPU上でPyTorchなどのフレームワークを最大21倍上回る結果を示しました。

4. Grinder：制御フロー実行の最適化

   – Grinderは、データフローと制御フローを統合することで、アクセラレータ上での制御フロー実行を最適化するように設計されています。この革新的なアプローチにより、制御フローの境界を越えた最適化が可能になり、熟練者が見習いを指導して作業を速くするように機能します。Grinderは、制御フローを持つモデルを最大8倍加速します。

AI進歩におけるMicrosoftの継続的なリーダーシップ

Microsoftは長年にわたりAI進歩の最前線にいました。AI研究企業のOpenAIとの協力は、GPT-3.5やGPT-4などの画期的な成果をもたらし、ChatGPTやBing Chatなどのソリューションを支えています。さらに、Metaとのパートナーシップにより、LLaMA-2がMicrosoftのクラウドコンピューティング提供に統合されました。また、同社はChatGPTなどのモデルにおける推論を強化するための「思考のアルゴリズム」も導入しています。

既存のソリューションを上回るパフォーマンス

厳格なテストにおいて、Microsoftのコンパイラは複数のベンチマークで既存のソリューションを上回りました。Rammerは、GPU上で他のコンパイラを最大20倍上回ることで際立ちました。Rollerは最先端のパフォーマンスに匹敵するだけでなく、しばそれを上回り、コンパイル時間を劇的に削減しました。Welderは、GPU上でPyTorchなどのフレームワークを最大21倍上回ることでその能力を示しました。Grinderは、制御フローを持つモデルを最大8倍加速することで優れています。

Rammer、Roller、Welder、Grinderの導入は、MicrosoftがAIシステムの進化にコミットしていることを示しています。OpenAIとのような高プロファイルなパートナーシップが注目を集める一方で、同社は裏方でAIを強化するための重要なソフトウェアインフラストラクチャも積極的に開発しています。

既存のソリューションに対して大幅なパフォーマンス向上が見込まれるこれらのコンパイラは、AIワークロードがますます複雑になるにつれて、重要な競争優位性をもたらすことを約束しています。Microsoftの「ヘヴィメタル・カルテット」は、より効率的で、強力かつアクセスしやすい人工知能への旅路における重要なマイルストーンを表しています。