Китайские исследователи представили прорыв в области сжатия LLM

Китайские исследователи представили новаторскую технику сжатия, направленную на решение аппаратных ограничений, связанных с развертыванием больших языковых моделей (LLM). Этот новый подход, получивший название ShortGPT, был разработан экспертами из компании Baichuan Inc. и Китайского института обработки информации при Институте программного обеспечения Китайской академии наук. Метод основан на существующих методах сокращения, предлагая решение для снижения затрат на вывод в LLM без необходимости дополнительного обучения.

Революционизация сжатия моделей

Метод ShortGPT вводит новую метрику, известную как «Влияние блока» (BI), для оценки преобразований скрытых состояний в моделях с линейным линейной структурой (LLM). Используя показатели BI, системаdentи устраняет избыточные параметры, тем самым оптимизируя модель для развертывания на оборудовании с ограниченными ресурсами. Этот подход включает в себя обрезку слоев на основе их влияния на производительность модели, гарантируя сохранение только необходимых компонентов.

Обширные эксперименты продемонстрировали превосходство ShortGPT над существующими передовыми методами сокращения выборки. В отличие от традиционных подходов, которые часто основаны на методах квантования, ShortGPT работаетdent, что позволяет значительно сократить количество параметров и повысить вычислительную эффективность без ущерба для точности модели. Это нововведение подчеркивает замечательную избыточность в архитектурах LLM и демонстрирует потенциал для оптимизированных методов сжатия.

Амбиции Китая в области искусственного интеллекта

В последние годы Китай занял позитивную позицию в отношении внедрения ИИ, стремясь не отставать от темпов инноваций в США и Европе. В условиях назревающей холодной войны с Соединенными Штатами страна активно совершенствует потенциал местных поставщиков услуг в области ИИ, технологии блокчейн и квантовых вычислений.

Несмотря на прогрессивную позицию, китайские власти стремятся предотвратить злоупотребление ИИ, вводя строгие правила и применяя жесткие методы правоприменения. Экосистема ИИ в материковом Китае представляет собой бурлящий улей, о чем свидетельствует avalanche коммерческих запусков генеративного ИИ технологическими компаниями.

Внедрение ShortGPT представляет собой важную веху в области сжатия данных в искусственном интеллекте, обещая повышение эффективности и производительности для больших языковых моделей. Поскольку Китай продолжает стимулировать инновации в области искусственного интеллекта, его стратегические инвестиции и исследовательские инициативы позиционируют страну как грозного игрока на глобальном технологическом рынке.