Des chercheurs chinois dévoilent une avancée majeure dans la compression des LLM
- Des chercheurs chinois dévoilent ShortGPT, un nouveau système de compression pour les LLM qui surpasse les méthodes d'élagage précédentes sans entraînement supplémentaire.
- ShortGPT répond aux limitations matérielles en réduisant les paramètres et le calcul sans compromettre les performances du modèle.
- La Chine adopte l'IA tout en mettant en œuvre des réglementations strictes et leur application pour prévenir les abus dans le contexte d'une guerre technologique froide montante.
Des chercheurs chinois ont présenté une technique de compression révolutionnaire visant à répondre aux contraintes matérielles liées au déploiement des grands modèles de langage (LLM). Cette nouvelle approche, baptisée ShortGPT, a été développée par des experts de Baichuan Inc. et de l'Institut de logiciel du laboratoire de traitement de l'information chinois de l'Académie des sciences chinoises. La méthode s'appuie sur les techniques d'élagage existantes, offrant une solution pour atténuer les coûts d'inférence des LLM sans nécessiter d'entraînement supplémentaire.
Révolutionner la compression des modèles
La méthode ShortGPT introduit une nouvelle métrique appelée Influence de bloc (BI) pour évaluer les transformations des états cachés au sein des LLM. En utilisant les scores BI, le système identifie et élimine les paramètres redondants, optimisant ainsi le modèle pour un déploiement sur du matériel aux ressources limitées. Cette approche consiste à élaguer les couches en fonction de leur impact sur les performances du modèle, garantissant que seuls les composants essentiels sont conservés.
Des expériences approfondies ont démontré la supériorité de ShortGPT par rapport aux méthodes d'élagage de pointe (SOTA) existantes. Contrairement aux approches conventionnelles qui s'appuient souvent sur des méthodes de quantification, ShortGPT fonctionne de manière indépendante, permettant une réduction significative des paramètres et une efficacité computationnelle sans compromettre la précision du modèle. Cette innovation souligne la redondance remarquable au sein des architectures LLM et démontre le potentiel des techniques de compression rationalisées.
Les ambitions de la Chine en matière d'IA
La Chine a adopté une position positive quant à l'adoption de l'IA ces dernières années pour suivre le rythme de l'innovation aux États-Unis et en Europe. Le pays améliore activement les capacités des fournisseurs locaux d'IA, de technologie blockchain et d'informatique quantique, dans un contexte de guerre froide naissante avec les États-Unis.
Malgré cette posture orientée vers l'avenir, les autorités chinoises sont déterminées à prévenir les abus de l'IA en créant des réglementations strictes et en appliquant des tactiques de répression sévères. L'écosystème chinois de l'IA sur le continent est un véritable rucher d'activité, souligné par une avalanche de lancements commerciaux d'offres d'IA générative par les entreprises technologiques.
L'introduction de ShortGPT représente une étape majeure dans le domaine de la compression de l'IA, promettant une efficacité et des performances améliorées pour les grands modèles de langage. Alors que la Chine continue de stimuler l'innovation en intelligence artificielle, ses investissements stratégiques et ses initiatives de recherche positionnent le pays comme un acteur redoutable sur la scène technologique mondiale.
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Glory Kaburu
Glory est une journaliste extrêmement compétente, maîtrisant les outils d'intelligence artificielle et la recherche. Passionnée par l'IA, elle a rédigé plusieurs articles sur le sujet. Elle se tient informée des dernières avancées en intelligence artificielle, en apprentissage automatique et en apprentissage profond, et écrit régulièrement à ce propos.
