Pesquisadores chineses apresentaram uma técnica de compressão inovadora destinada a solucionar as limitações de hardware associadas à implementação de grandes modelos de linguagem (LLMs). Essa nova abordagem, denominada ShortGPT, foi desenvolvida por especialistas da Baichuan Inc. e do Instituto de Software do Laboratório de Processamento de Informação da Academia Chinesa de Ciências. O método se baseia em técnicas de poda existentes, oferecendo uma solução para mitigar os custos de inferência dos LLMs sem a necessidade de treinamento adicional.
Revolucionando a compressão de modelos
O método ShortGPT introduz uma nova métrica conhecida como Influência de Bloco (BI) para avaliar transformações de estado ocultas em LLMs (Modelos de Aprendizado de Liderança). Ao utilizar pontuações de BI, o sistemadente elimina parâmetros redundantes, otimizando assim o modelo para implantação em hardware com recursos limitados. Essa abordagem envolve a remoção de camadas com base em seu impacto no desempenho do modelo, garantindo que apenas os componentes essenciais sejam mantidos.
Experimentos extensivos demonstraram a superioridade do ShortGPT em relação aos métodos de poda de última geração (SOTA) existentes. Ao contrário das abordagens convencionais que frequentemente dependem de métodos de quantização, o ShortGPT opera de formadent, permitindo uma redução significativa de parâmetros e eficiência computacional sem comprometer a precisão do modelo. Essa inovação ressalta a notável redundância dentro das arquiteturas LLM e demonstra o potencial para técnicas de compressão simplificadas.
As ambições da China em relação à IA
Nos últimos anos, a China adotou uma postura positiva em relação à adoção da IA para acompanhar o ritmo de inovação dos EUA e da Europa. O país está aprimorando ativamente as capacidades de provedores locais de serviços de IA, tecnologia blockchain e computação quântica em meio a uma crescente tensão com os Estados Unidos.
Apesar da postura progressista, as autoridades chinesas estão empenhadas em prevenir o uso indevido da IA, criando regulamentações rigorosas e aplicando táticas de fiscalização severas. O ecossistema de IA na China continental é um verdadeiro formigueiro de atividades, evidenciado pela avalanche de lançamentos comerciais de soluções de IA generativa por empresas de tecnologia.
A introdução do ShortGPT representa um marco significativo no campo da compressão de IA, prometendo maior eficiência e desempenho para grandes modelos de linguagem. À medida que a China continua a impulsionar a inovação em inteligência artificial, seus investimentos estratégicos e iniciativas de pesquisa posicionam o país como um ator formidável no cenário tecnológico global.
