- Китайские исследователи представили ShortGPT, новую систему сжатия для LLM-моделей, которая превосходит предыдущие методы обрезки без дополнительного обучения.
- ShortGPT решает проблему аппаратных ограничений за счет сокращения количества параметров и вычислительных ресурсов без ущерба для производительности модели.
- Китай активно внедряет искусственный интеллект, одновременно вводя строгие правила и механизмы контроля для предотвращения злоупотреблений в условиях назревающей технологической холодной войны.
Китайские исследователи представили новаторскую технику сжатия, направленную на решение аппаратных ограничений, связанных с развертыванием больших языковых моделей (LLM). Этот новый подход, получивший название ShortGPT, был разработан экспертами из компании Baichuan Inc. и Китайского института обработки информации при Институте программного обеспечения Китайской академии наук. Метод основан на существующих методах сокращения, предлагая решение для снижения затрат на вывод в LLM без необходимости дополнительного обучения.
Революционизация сжатия моделей
Метод ShortGPT вводит новую метрику, известную как «Влияние блока» (BI), для оценки преобразований скрытых состояний в моделях с линейным линейной структурой (LLM). Используя показатели BI, системаdentи устраняет избыточные параметры, тем самым оптимизируя модель для развертывания на оборудовании с ограниченными ресурсами. Этот подход включает в себя обрезку слоев на основе их влияния на производительность модели, гарантируя сохранение только необходимых компонентов.
Обширные эксперименты продемонстрировали превосходство ShortGPT над существующими передовыми методами сокращения выборки. В отличие от традиционных подходов, которые часто основаны на методах квантования, ShortGPT работаетdent, что позволяет значительно сократить количество параметров и повысить вычислительную эффективность без ущерба для точности модели. Это нововведение подчеркивает замечательную избыточность в архитектурах LLM и демонстрирует потенциал для оптимизированных методов сжатия.
Амбиции Китая в области искусственного интеллекта
В последние годы Китай занял позитивную позицию в отношении внедрения ИИ, стремясь не отставать от темпов инноваций в США и Европе. В условиях назревающей холодной войны с Соединенными Штатами страна активно совершенствует потенциал местных поставщиков услуг в области ИИ, технологии блокчейн и квантовых вычислений.
Несмотря на прогрессивную позицию, китайские власти стремятся предотвратить злоупотребление ИИ, вводя строгие правила и применяя жесткие методы правоприменения. Экосистема ИИ в материковом Китае представляет собой бурлящий улей, о чем свидетельствует avalanche коммерческих запусков генеративного ИИ технологическими компаниями.
Внедрение ShortGPT представляет собой важную веху в области сжатия данных в искусственном интеллекте, обещая повышение эффективности и производительности для больших языковых моделей. Поскольку Китай продолжает стимулировать инновации в области искусственного интеллекта, его стратегические инвестиции и исследовательские инициативы позиционируют страну как грозного игрока на глобальном технологическом рынке.
Не просто читайте новости о криптовалютах. Разберитесь в них. Подпишитесь на нашу рассылку. Это бесплатно.
Предупреждение. Предоставленная информация не является торговой рекомендацией. Cryptopolitanнастоятельно не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мыtronпровести независимоеdent и/или проконсультироваться с квалифицированным специалистом, прежде чем принимать какие-либо инвестиционные решения.
Глори Кабуру
Глори — чрезвычайно компетентный журналист, хорошо разбирающийся в инструментах и исследованиях в области искусственного интеллекта. Она увлечена ИИ и является автором нескольких статей на эту тему. Она постоянно следит за последними разработками в области искусственного интеллекта, машинного обучения и глубокого обучения и регулярно пишет об этом.
