Investigadores chinos revelan un avance en la compresión LLM

Investigadores chinos han introducido una innovadora técnica de compresión destinada a abordar las limitaciones de hardware asociadas con la implementación de grandes modelos de lenguaje (LLM). Este nuevo enfoque, denominado ShortGPT, ha sido desarrollado por expertos de Baichuan Inc. y el Instituto de Software del Laboratorio de Procesamiento de la Información de China, de la Academia de Ciencias de China. El método se basa en técnicas de poda existentes y ofrece una solución para mitigar los costos de inferencia de los LLM sin necesidad de capacitación adicional.

Revolucionando la compresión de modelos

El método ShortGPT introduce una novedosa métrica conocida como Influencia de Bloque (BI) para evaluar las transformaciones de estado ocultas dentro de los LLM. Mediante el uso de puntuaciones de BI, el sistemadenty elimina parámetros redundantes, optimizando así el modelo para su implementación en hardware con recursos limitados. Este enfoque implica la poda de capas en función de su impacto en el rendimiento del modelo, garantizando así que solo se conserven los componentes esenciales.

Experimentos exhaustivos han demostrado la superioridad de ShortGPT sobre los métodos de poda de vanguardia (SOTA) existentes. A diferencia de los enfoques convencionales, que suelen basarse en métodos de cuantificación, ShortGPT funciona de formadent, lo que permite una reducción significativa de parámetros y una mayor eficiencia computacional sin comprometer la precisión del modelo. Esta innovación subraya la notable redundancia de las arquitecturas LLM y demuestra el potencial de las técnicas de compresión optimizadas.

Las ambiciones de China en materia de inteligencia artificial

En los últimos años, China ha adoptado una postura positiva respecto a la adopción de IA para seguir el ritmo de la innovación en Estados Unidos y Europa. El país está mejorando activamente las capacidades de los proveedores locales de servicios de IA, tecnología blockchain y computación cuántica en medio de una guerra fría en ciernes con Estados Unidos.

A pesar de su postura progresista, las autoridades chinas se esfuerzan por prevenir el uso indebido de la IA mediante la creación de regulaciones estrictas y medidas de control rigurosas. El ecosistema de IA de China continental es un hervidero de actividad, acentuado por una avalanche de lanzamientos comerciales de productos de IA generativa por parte de empresas tecnológicas.

La introducción de ShortGPT representa un hito significativo en el campo de la compresión de IA, prometiendo mayor eficiencia y rendimiento para modelos de lenguaje de gran tamaño. A medida que China continúa impulsando la innovación en inteligencia artificial, sus inversiones estratégicas e iniciativas de investigación posicionan al país como un actor clave en el panorama tecnológico global.