Pesquisadores chineses revelam avanço na compressão LLM

Pesquisadores chineses apresentaram uma técnica de compressão inovadora destinada a solucionar as limitações de hardware associadas à implementação de grandes modelos de linguagem (LLMs). Essa nova abordagem, denominada ShortGPT, foi desenvolvida por especialistas da Baichuan Inc. e do Instituto de Software do Laboratório de Processamento de Informação da Academia Chinesa de Ciências. O método se baseia em técnicas de poda existentes, oferecendo uma solução para mitigar os custos de inferência dos LLMs sem a necessidade de treinamento adicional.

Revolucionando a compressão de modelos

O método ShortGPT introduz uma nova métrica conhecida como Influência de Bloco (BI) para avaliar transformações de estado ocultas em LLMs (Modelos de Aprendizado de Liderança). Ao utilizar pontuações de BI, o sistemadente elimina parâmetros redundantes, otimizando assim o modelo para implantação em hardware com recursos limitados. Essa abordagem envolve a remoção de camadas com base em seu impacto no desempenho do modelo, garantindo que apenas os componentes essenciais sejam mantidos.

Experimentos extensivos demonstraram a superioridade do ShortGPT em relação aos métodos de poda de última geração (SOTA) existentes. Ao contrário das abordagens convencionais que frequentemente dependem de métodos de quantização, o ShortGPT opera de formadent, permitindo uma redução significativa de parâmetros e eficiência computacional sem comprometer a precisão do modelo. Essa inovação ressalta a notável redundância dentro das arquiteturas LLM e demonstra o potencial para técnicas de compressão simplificadas.

As ambições da China em relação à IA

Nos últimos anos, a China adotou uma postura positiva em relação à adoção da IA ​​para acompanhar o ritmo de inovação dos EUA e da Europa. O país está aprimorando ativamente as capacidades de provedores locais de serviços de IA, tecnologia blockchain e computação quântica em meio a uma crescente tensão com os Estados Unidos.

Apesar da postura progressista, as autoridades chinesas estão empenhadas em prevenir o uso indevido da IA, criando regulamentações rigorosas e aplicando táticas de fiscalização severas. O ecossistema de IA na China continental é um verdadeiro formigueiro de atividades, evidenciado pela avalanche de lançamentos comerciais de soluções de IA generativa por empresas de tecnologia.

A introdução do ShortGPT representa um marco significativo no campo da compressão de IA, prometendo maior eficiência e desempenho para grandes modelos de linguagem. À medida que a China continua a impulsionar a inovação em inteligência artificial, seus investimentos estratégicos e iniciativas de pesquisa posicionam o país como um ator formidável no cenário tecnológico global.