China Telecom développe des modèles d’IA MoE exclusivement sur des puces Huawei

China Telecom a développé les premiers modèles d’intelligence artificielle du pays utilisant l’architecture innovante Mixture-of-Experts (MoE), qui sont entièrement entraînés sur des puces avancées de Huawei Technologies.

Selon un document technique publié le mois dernier par l’Institut d’intelligence artificielle de China Telecom (TeleAI), les modèles TeleChat3, allant de 105 milliards à des billions de paramètres, ont été entraînés sur les puces Ascend 910B de Huawei et son framework d’apprentissage profond open source, MindSpore.

Les chercheurs de TeleAI ont déclaré que la pile Huawei répondait aux « exigences sévères » de l’entraînement de modèles MoE à grande échelle dans une gamme de tailles variées. « Ces contributions répondent collectivement aux goulets d’étranglement critiques dans l’entraînement de modèles à l’échelle de pointe, établissant une solution complète mature adaptée aux écosystèmes informatiques nationaux », ils a ajouté. 

Le modèle de China Telecom est en retard par rapport au GPT-OSS-120B d’OpenAI

L’architecture MoE distribue les tâches à plusieurs sous-modèles spécialisés, ou « experts ». Par conséquent, les modèles d’IA développés avec cette technologie peuvent augmenter leur capacité sans augmentation significative de la surcharge computationnelle. Le MoE a été popularisé par le modèle V3 de DeepSeek, publié en décembre 2024, et est depuis devenu la norme pour les modèles d’IA chinois de pointe.

Les modèles MoE, cependant, étaient considérés comme plus exigeants techniquement à entraîner et à faire fonctionner. Les scores de performance auto-déclarés de China Telecom pour ses modèles TeleChat3 ont montré qu’ils étaient en retard par rapport à ceux du GPT-OSS-120B d’OpenAI, publié en août, sur plusieurs benchmarks.

La semaine dernière, une spin-off de l’Université Tsinghua a annoncé que son nouveau modèle de génération d’images avait été entraîné sur des puces Huawei, ce qui en fait le premier modèle open source développé sur une pile d’entraînement entièrement nationale à atteindre des scores de pointe dans la génération d’images.

Zhipu AI, basée à Pékin, avait été placée sur liste noire par Washington en janvier dernier. Le gouvernement américain a placé plusieurs entreprises technologiques chinoises, dont Huawei et iFlytek, sur des listes noires de contrôle des exportations. Cela les empêche effectivement de recevoir des puces d’origine américaine, des outils semi-conducteurs et d’autres technologies avancées.

Les chercheurs d’Ant Group, une filiale fintech d’Alibaba Group Holding, ont également déclaré avoir réussi à entraîner un modèle MoE de 300 milliards de paramètres « sans GPU premium ». Cependant, ils n’ont pas précisé s’ils avaient utilisé exclusivement des puces conçues localement.

Pendant ce temps, alors que a rapporté par Cryptopolitan, un indice boursier de style Nasdaq des actions technologiques locales chinoises a bondi de près de 13 % ce mois-ci seulement. Un deuxième indicateur suivant les entreprises technologiques chinoises cotées à Hong Kong est en hausse de 6 %, et les deux laissent le Nasdaq 100 derrière.

Les actions Nvidia s’effondrent alors que Pékin déclare son autonomie

Nvidia a déclaré que ses GPU avancés et ses frameworks d’apprentissage automatique étaient les meilleurs outils au monde pour entraîner des modèles MoE à grande échelle. Cependant, Pékin a fait de l’autonomie dans l’ensemble de la pile d’IA une priorité clé du pays pour les cinq prochaines années en raison des restrictions commerciales américaines qui bloquent l’accès des entreprises chinoises aux puces américaines avancées.

Le gouvernement américain a récemment donné son feu vert pour que Nvidia vende le H200, la deuxième puce la plus puissante de l’entreprise, à la Chine. Cependant, la Chine a tenté de bloquer les livraisons de puces avancées. Cryptopolitan a rapporté que Pékin pourrait envisager des restrictions pour favoriser le développement local de puces ou renforcer sa position de négociation avec les États-Unis.

En conséquence, les fournisseurs ont suspendu la production des composants H200 après le blocage. Nvidia s’attendait à plus d’un million de commandes de la part de clients chinois, les fournisseurs se préparant pour des livraisons en mars, mais les douaniers auraient refusé l’entrée des puces.

Les actions Nvidia ont depuis reculé d’environ 3 % suite aux rapports. Selon les analystes, Nvidia fait face à un risque clair. Si la Chine continue de bloquer les livraisons de H200, l’action pourrait briser un support clé à court terme. Si les approbations s’assouplissent, le regain pourrait être rapide, mais l’incertitude politique joue dans les deux sens. 

D’un autre côté, d’autres fabricants de puces ont montré des mouvements mitigés alors que AMD progressait de 1,7 %, Intel baissait de 2,8 %, tandis que l’ETF S&P 500 SPY reculait d’environ 0,1 %. Pendant ce temps, les observateurs du marché guettent les résultats trimestriels à venir de NVDA le 25 février et tout nouveau détail sur sa situation d’exportation vers la Chine.