Основатель ByteDance отвергает дистилляцию, пока США целится в китайские лаборатории

Основатель ByteDance Чжан Имин заявил, что дистилляция не будет использоваться для обучения ИИ-моделей компании. Это отличает компанию от других китайских ИИ-лабораторий, которым приписывают использование техники дистилляции.

Это происходит на фоне обвинений официальных лиц США в адрес китайских лабораторий в использовании этой техники для сокращения разрыва с американскими ИИ-моделями. Чиновники Вашингтона пошли настолько далеко, что пригрозили санкциями.

Чжан проводит четкую границу, когда остальные идут на компромиссы

The Information отчете Чжан Имин категорически против дистилляции при обучении ИИ-моделей компании. Чжан решил взять на себя более активную роль в ИИ-стратегии ByteDance и встречался с ведущими исследователями, чтобы получить знания из первых рук, одновременно отслеживая усилия компании по найму персонала.

Это важно, поскольку это происходит в критический момент гонки ИИ. В этом же месяце официальные лица США усилили давление на китайские лаборатории в борьбе против практики дистилляции. ByteDance также владеет Seedance, прибытной и лидирующей по производительности видео-моделью, что является редким достижением среди китайских ИИ-продуктов.

Почему Вашингтон не одобряет дистилляцию

Дистилляция — это просто обучение более слабых ИИ-моделей на ответах более сильных моделей. Это гарантирует, что меньшие ИИ-системы учатся имитировать более крупную систему. Дистилляция проводится открыто и является рутинной частью ИИ-индустрии. Она считается законной, хотя обычно применяется в небольших масштабах.

Майкл Крацциос, директор Офиса научной и технологической политики Белого дома, заявил, что Moonshot AI дистиллировала модель Fable от Anthropic при создании Kimi K3, своей ИИ-системы.

Он заявил об этом в посте в X, что Moonshot осуществляла операцию через специально созданную внутреннюю платформу, которая ротировала маршруты доступа, чтобы избежать обнаружения, и использовала серверы NVIDIA GB300 в Таиланде, экспорт которых в Китай запрещен правилами США. 

По сообщениям, Anthropic отследила 3,4 миллиона разговоров Claude до Moonshot через фейковые аккаунты. Moonshot пока не ответила на эти обвинения.

Как ByteDance создала Seedance, свою ведущую ИИ-модель

У ByteDance был переломный момент совершенно иным образом. Компания сделала ставку на Seedance 2.0, несмотря на внутренние споры из-за высокой стоимости модели и агрессивных масштабов. Видео-модель была создана для масштабирования за отметку в 200 миллиардов параметров, но некоторыми внутри компании считалась слишком амбициозной.

Этот шаг окупился: валовая маржа моделей колебалась в районе 70–90% после того, как компания потратила крупные суммы на GPU, данные и найм мирового уровня.

Вашингтон говорит, что разрыв в ИИ сокращается

Битва за дистилляцию — это лишь верхушка айсберга. Министр финансов Скотт Бессент намекнул на введение санкций, если и когда китайские компании примут дистилляцию в промышленных масштабах. Двухпартийный законопроект Палаты представителей упростит выявление и наложение санкций на попытки дистилляции.

Цифры побудили к срочным действиям. Несмотря на то, что США тратят на ИИ в 23 раза больше, чем Китай, Америка потеряла свое лидерство в гонке ИИ. Согласно Институту человеческого централизованного ИИ Стэнфорда, лучшие модели обеих стран практически одинаковы.