Des chercheurs chinois ont mis au point une technique de compression révolutionnaire visant à pallier les contraintes matérielles liées au déploiement de grands modèles de langage (LLM). Cette nouvelle approche, baptisée ShortGPT, a été développée par des experts de Baichuan Inc. et de l'Institut de génie logiciel du Laboratoire chinois de traitement de l'information de l'Académie chinoise des sciences. S'appuyant sur des techniques d'élagage existantes, elle offre une solution pour réduire les coûts d'inférence des LLM sans nécessiter d'entraînement supplémentaire.
Révolutionner la compression des modèles
La méthode ShortGPT introduit une nouvelle métrique, l'Influence des Blocs (IB), pour évaluer les transformations d'état cachées au sein des LLM. Grâce aux scores d'IB, le systèmedentet élimine les paramètres redondants, optimisant ainsi le modèle pour un déploiement sur du matériel aux ressources limitées. Cette approche consiste à élaguer les couches en fonction de leur impact sur les performances du modèle, afin de ne conserver que les composants essentiels.
De nombreuses expériences ont démontré la supériorité de ShortGPT par rapport aux méthodes d'élagage de pointe existantes. Contrairement aux approches conventionnelles qui s'appuient souvent sur des méthodes de quantification, ShortGPT fonctionnedent, permettant une réduction significative du nombre de paramètres et une efficacité de calcul accrue sans compromettre la précision du modèle. Cette innovation souligne la remarquable redondance des architectures LLM et met en évidence le potentiel des techniques de compression rationalisées.
Les ambitions de la Chine en matière d'IA
Ces dernières années, la Chine a adopté une position favorable à l'intégration de l'IA afin de suivre le rythme d'innovation des États-Unis et de l'Europe. Dans un contexte de tensions croissantes avec les États-Unis, le pays renforce activement les capacités de ses fournisseurs locaux de services en IA, en technologie blockchain et en informatique quantique.
Malgré cette orientation résolument tournée vers l'avenir, les autorités chinoises tiennent à prévenir les abus liés à l'IA en instaurant une réglementation stricte et des mesures d'application rigoureuses. L'écosystème de l'IA en Chine continentale est en pleine effervescence, comme en témoigne le avalanche massif de solutions d'IA générative par les entreprises technologiques.
L'introduction de ShortGPT constitue une avancée majeure dans le domaine de la compression en intelligence artificielle, promettant une efficacité et des performances accrues pour les grands modèles de langage. Alors que la Chine continue de stimuler l'innovation en intelligence artificielle, ses investissements stratégiques et ses initiatives de recherche positionnent le pays comme un acteur incontournable du paysage technologique mondial.
