China Telecom a développé les premiers modèles d'intelligence artificielle du pays dotés de l'architecture innovante Mixture-of-Experts (MoE), entièrement entraînés sur des puces de pointe de Huawei Technologies.
Selon un document technique publié le mois dernier par l'Institut d'intelligence artificielle (TeleAI) de China Telecom, les modèles TeleChat3, dont le nombre de paramètres varie de 105 milliards à des billions, ont été entraînés sur les puces Ascend 910B de Huawei et son framework d'IA d'apprentissage profond open source, MindSpore.
Les chercheurs de TeleAI ont déclaré que la plateforme Huawei répondait aux exigences élevées de l'entraînement de modèles MoE à grande échelle, quelle que soit leur taille. « Ces contributions permettent de lever les principaux obstacles à l'entraînement de modèles de pointe, en proposant une solution complète et mature adaptée aux écosystèmes informatiques nationaux », ont-ils ajouté .
Le modèle de China Telecom est en retard par rapport au GPT-OSS-120B d'OpenAI
L'architecture MoE répartit les tâches entre plusieurs sous-modèles spécialisés, ou « experts ». Ainsi, les modèles d'IA développés avec cette architecture peuvent augmenter leur capacité sans augmentation significative de la charge de calcul. Popularisée par le modèle V3 de DeepSeek, sorti en décembre 2024, l'architecture MoE est depuis devenue la norme pour les modèles d'IA chinois de pointe.
Les modèles MoE, cependant, étaient considérés comme plus exigeants techniquement à entraîner et à exécuter. Les scores de performance communiqués par China Telecom pour ses modèles TeleChat3 ont montré qu'ils étaient inférieurs à ceux du GPT-OSS-120B d'OpenAI, publié en août, sur plusieurs tests de performance.
La semaine dernière, l'université Tsinghua a annoncé que son nouveau modèle de génération d'images avait été entraîné sur des puces Huawei, ce qui en fait le premier modèle open source développé sur une pile d'entraînement entièrement nationale à atteindre des scores de pointe dans le domaine de la génération d'images.
société pékinoise Zhipu AI a été placée sur liste noire par Washington en janvier dernier. Les États-Unis ont inscrit plusieurs entreprises technologiques chinoises, dont Huawei et iFlytek, sur des listes noires de contrôle des exportations. De fait, cela les empêche de recevoir des puces, des outils pour semi-conducteurs et d'autres technologies de pointe d'origine américaine.
Les chercheurs d'Ant Group, filiale fintech du groupe Alibaba, ont également annoncé avoir réussi à entraîner un modèle MoE de 300 milliards de paramètres « sans GPU haut de gamme ». Ils n'ont toutefois pas précisé s'ils avaient utilisé exclusivement des puces de conception chinoise.
Par ailleurs, comme le rapporte Cryptopolitan , un indice de type Nasdaq regroupant les valeurs technologiques chinoises locales a bondi de près de 13 % ce mois-ci. Un second indice, trac suit les entreprises technologiques chinoises cotées à Hong Kong, affiche une hausse de 6 %, et tous deux distance le Nasdaq 100.
L'action de Nvidia s'effondre après la déclaration d'autosuffisance de Pékin
Nvidia a affirmé que ses GPU de pointe et ses frameworks d'apprentissage automatique constituaient les meilleurs outils au monde pour l'entraînement de modèles MoE à grande échelle. Cependant, Pékin a fait de l'autosuffisance sur l'ensemble de la chaîne de valeur de l'IA une priorité absolue pour le pays au cours des cinq prochaines années, en raison des restrictions commerciales américaines qui empêchent les entreprises chinoises d'accéder aux puces américaines de pointe.
Le gouvernement américain a récemment autorisé Nvidia à vendre à la Chine la puce H200, la deuxième plus puissante de la firme. Cependant, la Chine a bloqué les livraisons de puces de pointe. Cryptopolitan a rapporté que Pékin pourrait envisager des restrictions afin de favoriser le développement local de puces ou de renforcer sa position de négociation avec les États-Unis.
En conséquence, les fournisseurs ont suspendu la production des composants H200 après le blocage. Nvidia s'attendait à plus d'un million de commandes de clients chinois, les fournisseurs se préparant à des livraisons en mars, mais les douanes auraient refusé l'entrée des puces.
Suite à la publication de ces informations, l'action Nvidia a chuté d'environ 3 %. Selon les analystes, Nvidia est confrontée à un risque majeur. Si la Chine maintient son blocage des livraisons de processeurs H200, le cours de l'action pourrait franchir un seuil de support clé à court terme. En cas d'assouplissement des conditions d'autorisation, la reprise pourrait être rapide, mais l'incertitude politique joue dans les deux sens.
En revanche, les autres fabricants de puces ont affiché des performances mitigées : AMD a progressé de 1,7 %, Intel a reculé de 2,8 %, tandis que l’ETF S&P 500 (SPY) a légèrement baissé d’environ 0,1 %. Parallèlement, les analystes attendent avec intérêt les résultats trimestriels de NVDA, prévus le 25 février, et toute nouvelle information concernant ses exportations vers la Chine.
