Le fondateur de ByteDance rejette la distillation alors que les États-Unis ciblent les laboratoires chinois
Photo de Claudio Schwarz sur Unsplash.
- Le fondateur de ByteDance, Zhang Yiming, a exclu toute distillation des modèles d'IA de l'entreprise.
- Cette position distingue ByteDance du plagiat clandestin dont la Maison Blanche accuse Moonshot AI d'avoir utilisé les techniques pour construire Kimi K3.
- Cette situation survient alors que Washington menace de sanctions en raison de la distillation, et que l'écart entre les modèles américains et chinois se réduit.
Le fondateur de ByteDance, Zhang Yiming, a déclaré que la distillation ne serait pas utilisée pour entraîner les modèles d'IA de l'entreprise. Cela distingue ByteDance des autres laboratoires d'IA chinois accusés d'avoir recours à cette technique.
Cette situation survient alors que des responsables américains accusent des laboratoires chinois d'utiliser cette technique pour combler leur retard sur les modèles d'IA américains. Les autorités de Washington sont même allées jusqu'à menacer de sanctions.
Zhang trace une ligne quand tous les autres prennent des raccourcis
le rapport , Zhang Yiming s'oppose fermement à la distillation dans l'entraînement des modèles d'IA de l'entreprise. Zhang a décidé de s'impliquer davantage dans les ambitions de ByteDance en matière d'IA et a rencontré des chercheurs de haut niveau pour acquérir des connaissances de première main, tout en suivant de près les efforts de recrutement de l'entreprise.
C'est important car cela survient à un moment critique de la course à l'IA. Ce même mois, les autorités américaines ont intensifié leur lutte contre les laboratoires chinois concernant la pratique de la distillation. ByteDance possède également Seedance, un modèle vidéo performant et rentable, une prouesse rare parmi les produits d'IA chinois.
Pourquoi Washington désapprouve-t-il la distillation ?
La distillation consiste simplement à entraîner des modèles d'IA plus faibles sur les réponses de modèles plustron. Cela permet aux systèmes d'IA plus petits d'apprendre à imiter le système plus grand. La distillation est pratiquée ouvertement et fait partie intégrante du secteur de l'IA. Elle est considérée comme légale, bien qu'elle soit généralement réalisée à petite échelle.
Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de la Maison Blanche, a affirmé que Moonshot AI s'était inspirée du modèle Fable d'Anthropic pour construire Kimi K3, son système d'IA.
Il a déclaré dans un message sur X que Moonshot menait l'opération via une plateforme interne spécialement conçue à cet effet, qui changeait les routes d'accès afin d'échapper à la détection et utilisait des serveurs NVIDIA GB300 en Thaïlande, dont l'exportation vers la Chine est interdite par les règles d'exportation américaines.
Anthropic aurait trac3,4 millions de conversations avec Claude jusqu'à Moonshot via de faux comptes. Moonshot n'a pas encore réagi à ces allégations.
Comment ByteDance a construit Seedance, son modèle d'IA phare
ByteDance a connu un tournant décisif d'une manière totalement différente. L'entreprise a pris le risque de miser sur Seedance 2.0 malgré des dissensions internes concernant le coût élevé et l'ambition démesurée du modèle. Ce modèle vidéo était conçu pour gérer plus de 200 milliards de paramètres, mais certains au sein de l'entreprise le jugeaient trop ambitieux.
Cette stratégie s'est avérée payante, la marge brute des modèles se maintenant autour de 70 à 90 %, après que l'entreprise ait investi massivement dans les GPU, les données et le recrutement de profils de classe mondiale.
Washington affirme que le fossé en matière d'IA se réduit
La bataille autour de la distillation n'est que la partie émergée de l'iceberg. Scott Bessent, le secrétaire au Trésor, a évoqué la possibilité d'imposer des sanctions si et quand des entreprises chinoises adopteront la distillation à l'échelle industrielle. Un projet de loi bipartisan à la Chambre des représentants faciliterait l'dentet la sanction des tentatives de distillation.
Ces chiffres ont nécessité une action urgente. Malgré des dépenses en IA 23 fois supérieures à celles de la Chine, les États-Unis ont perdu leur avance dans la course à l'IA. Selon l'Institut pour l'IA centrée sur l'humain de Stanford, les meilleurs modèles des deux pays sont quasiment identiques.
Si vous lisez ceci, vous avez déjà une longueur d'avance. Restez-y grâce à notre newsletter.
FAQ
Qu'a dit le fondateur de ByteDance à propos de la distillation ?
Zhang Yiming a exclu l'utilisation de la distillation pour entraîner les modèles d'IA de ByteDance, prenant ainsi ses distances avec cette technique au cœur du différend actuel entre les États-Unis et la Chine.
De quoi Moonshot AI est-elle accusée ?
Michael Kratsios, un responsable de la Maison Blanche, a accusé Moonshot AI d'avoir secrètement reproduit à l'échelle industrielle le modèle Fable d'Anthropic pour construire Kimi K3, en utilisant un système interne conçu à cet effet et des serveurs NVIDIA GB300 à accès restreint basés en Thaïlande.
Comment le modèle Seedance de ByteDance a-t-il pu réussir sans distillation ?
ByteDance a investi massivement dans les talents, les données et les GPU et a soutenu les efforts du chercheur Zeng Yan pour faire évoluer Seedance 2.0 au-delà de 200 milliards de paramètres, produisant un modèle qui génère aujourd'hui plus de la moitié des revenus de Volcano Engine en tant que service de modèle.
Hannah Collymore
Hannah est rédactrice et éditrice, forte d'une expérience de près de dix ans dans la rédaction de blogs et la couverture d'événements liés aux cryptomonnaies. Chez Cryptopolitan, elle contribue à la page d'actualités en rédigeant des articles et en analysant les dernières évolutions de la finance décentralisée DeFi, des comptes gérés par les utilisateurs (RWA), de la réglementation des cryptomonnaies, de l'intelligence artificielle (IA) et des technologies de pointe. Elle est diplômée en administration des affaires de l'université Arcadia.
