Les cartes graphiques Nvidia H20 et H200 contribuent à alimenter un modèle d'IA entraîné entièrement sur des ensembles de données synthétiques chinois

L'université Tsinghua et Microsoft Research Asia ont entraîné un modèle d'IA complet en utilisant uniquement des données fictives. Aucun échantillon réel n'a été utilisé.

L'ensemble des données a été généré artificiellement grâce à un nouveau pipeline appelé SynthSmith, et le système a fonctionné intégralement sur des puces Nvidia. L'équipe n'a pas simplement réalisé un test novateur : elle a construit un modèle fonctionnel comportant 7 milliards de paramètres, surpassant des modèles bien plus importants entraînés sur des données humaines.

Leur article, publié le 11 janvier sur arXiv, affirme que le X-Coder qu'ils ont entraîné a surpassé des modèles de codage comportant 14 milliards de paramètres, même s'il n'a jamais vu de texte réel.

« Une analyse approfondie révèle que les lois d'échelle sont valides sur notre ensemble de données synthétiques », ont écrit les chercheurs. Cette équipe comprenait des membres de l'Université Tsinghua, de Microsoft Research Asia et de l'Université de Wuhan.

Les chercheurs utilisent des puces Nvidia pour se passer complètement des données du monde réel

Le dispositif d'entraînement reposait largement sur le matériel Nvidia. Pour l'optimisation supervisée, 128 puces Nvidia H20 ont été utilisées pendant 220 heures consécutives. Ensuite, 32 puces H200 ont pris le relais pendant sept jours complets pour la phase d'apprentissage par renforcement. Ces choix n'étaient pas fortuits : la H20 est optimisée pour l'inférence, tandis que la H200 est conçue pour l'entraînement haut de gamme. Ce sont les puces les plus puissantes actuellement disponibles pour les entreprises chinoises, grâce aux exemptions aux contrôles à l'exportation accordées par l'administration Trump après de Nvidia pour les rendre accessibles en Chine.

Les chercheurs ont indiqué que le problème de la mise à l'échelle ne résidait pas dans le pipeline lui-même, mais dans la puissance de calcul.

Wu Jie, l'auteur principal etdent en master à Tsinghua, a déclaré que la véritable raison pour laquelle ils n'avaient pas étendu le pipeline à des modèles à 100 milliards ou billions de paramètres était simplement « des contraintes de calcul, plutôt que des limitations du pipeline lui-même »

En publiant le code, ils espèrent permettre à d'autres de s'appuyer sur le projet sans avoir à supporter des coûts de formation exorbitants. L'article met également en lumière une tendance en intelligence artificielle.

On attend désormais des modèles qu’ils « réfléchissent » sur des périodes plus longues et qu’ils gèrent des raisonnements complexes, ce qui a engendré un besoin de puissance de calcul bien plus important lors de l’inférence, et pas seulement lors de l’entraînement.

Une équipe chinoise conçoit une puce plus rapide grâce à une technologie de fabrication ancienne

Par ailleurs, des scientifiques chinois ont conçu une nouvelle puce appelée ACCEL, utilisant des particules de lumière et non de l'électricité. Cette puce (acronyme de « All-Analogue Chip Combining ElectronicstronLight ») a été testée en laboratoire et a atteint une puissance de calcul de 4,6 PFLOPS.

C'est 3 000 fois plus rapide que la puce A100 de Nvidia, et la puce chinoise consomme 4 millions de fois moins d'énergie. Cela en fait l'une des puces jamais conçues pour des tâches spécifiques comme la reconnaissance d'images ou la conduite autonome.

Il ne remplacera pas encore les processeurs ou les puces de smartphones, mais l'équipe pense qu'il pourrait fonctionner dans les objets connectés, les véhicules électriques ou les usines intelligentes.

La puce a été fabriquée selon un procédé vieux de 20 ans par Semiconductor Manufacturing International Corporation. Elle a permis d'éviter le recours à des machines de lithographie avancées auxquelles la Chine n'a toujours pas accès.

« Le déploiement des systèmes informatiques photoniques constituait autrefois un défi en raison de leur conception structurelle complexe et de leur vulnérabilité au bruit et aux erreurs système », a déclaré dans un article.

Cette puce contourne ce problème en combinanttronphotonique et analogique dans une nouvelle architecture. Elle ne gère pas les tâches informatiques générales comme la compression de fichiers, mais elle est idéale pour la vision par IA et la détection en faible luminosité.

Un détail étonnant : l’énergie nécessaire au fonctionnement des puces modernes pendant une heure suffirait à alimenter ACCEL pendant 500 ans. Cette faible consommation énergétique facilite également la gestion de la chaleur, facteur limitant ainsi la miniaturisation des puces.

Les fonctions de cette puce incluent l'dentdu trafic, l'imagerie en faible luminosité et la vision en temps réel, grâce à l'utilisation directe de la lumière ambiante dans le processus de détection. L'équipe précise qu'il ne s'agit pas d'une puce à usage général, mais qu'elle répond à un besoin très spécifique.

Le financement provenait du Programme national clé de recherche et développement et de la Fondation nationale des sciences naturelles de Chine. MakeSens, une entreprise pékinoise spécialisée dans les semi-conducteurs et cofondée par l'un des chercheurs, a participé au projet et a récemment lancé une puce analogique basse consommation.

Dai Qionghai de Tsinghua, l'un des responsables du projet, a déclaré que la construction d'une nouvelle architecture informatique n'était que la première étape.

« Le défi le plus important est de concrétiser cette nouvelle architecture en applications pratiques, en répondant aux grands besoins nationaux et publics, ce qui est de notre responsabilité. »

L'équipe n'a rien communiqué quant à la date de commercialisation de cette puce.