Китайские исследователи представляют прорыв в сжатии больших языковых моделей
- Китайские исследователи представили ShortGPT — новую систему сжатия для больших языковых моделей, превосходящую предыдущие методы прунинга без дополнительного обучения.
- ShortGPT решает проблемы аппаратных ограничений за счёт уменьшения количества параметров и вычислений без ущерба для производительности модели.
- Китай активно внедряет ИИ, одновременно вводя строгие правила и механизмы контроля для предотвращения злоупотреблений на фоне нарастающей технологической холодной войны.
Китайские исследователи представили новаторскую технику сжатия, направленную на решение проблем аппаратных ограничений, связанных с развертыванием больших языковых моделей (LLM). Этот новый подход, названный ShortGPT, был разработан экспертами из Baichuan Inc. и Института программного обеспечения Китайской академии наук (Лаборатория обработки информации Китая). Метод опирается на существующие техники прунинга (обрезки), предлагая решение для снижения затрат на вывод моделей (inference) без необходимости дополнительного обучения.
Революция в сжатии моделей
Метод ShortGPT вводит новую метрику, известную как Block Influence (BI), для оценки преобразований скрытых состояний в больших языковых моделях. Используя баллы BI, система идентифицирует и устраняет избыточные параметры, тем самым оптимизируя модель для развертывания на оборудовании с ограниченными ресурсами. Этот подход включает обрезку слоев на основе их влияния на производительность модели, гарантируя, что сохраняются только необходимые компоненты.
Масштабные эксперименты продемонстрировали превосходство ShortGPT над существующими методами прунинга, находящимися на переднем крае (SOTA). В отличие от традиционных подходов, которые часто полагаются на методы квантования, ShortGPT работает независимо, обеспечивая значительное сокращение параметров и вычислительную эффективность без ущерба для точности модели. Эта инновация подчеркивает значительную избыточность в архитектурах больших языковых моделей и демонстрирует потенциал для оптимизированных техник сжатия.
Амбиции Китая в области ИИ
В последние годы Китай занял позитивную позицию в отношении внедрения ИИ, чтобы соответствовать темпам инноваций в США и Европе. Страна активно улучшает возможности местных провайдеров ИИ, блокчейн-технологий и квантовых вычислений на фоне назревающей холодной войны с Соединенными Штатами.
Несмотря на проактивный подход, китайские власти стремятся предотвратить misuse (неправомерное использование) ИИ, создавая строгие правила и применяя жесткие меры enforcement. Экосистема ИИ в материковом Китае представляет собой пчелиный улей активности, что подчеркивается лавиной коммерческих запусков генеративных ИИ-продуктов технологическими компаниями.
Введение ShortGPT представляет собой значительную веху в области сжатия ИИ, обещая повышенную эффективность и производительность для больших языковых моделей. По мере того как Китай продолжает стимулировать инновации в области искусственного интеллекта, его стратегические инвестиции и исследовательские инициативы позиционируют страну как formidable (серьезного/значимого) игрока на глобальной технологической арене.
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Глория Кабуру
Глори — крайне осведомлённый журналист, владеющий инструментами ИИ и методами исследований. Она увлечена темой искусственного интеллекта и является автором нескольких статей по этому вопросу. Она постоянно следит за последними достижениями в области искусственного интеллекта, машинного обучения и глубокого обучения и регулярно пишет об этом.
