Le fondateur de ByteDance rejette la distillation alors que les États-Unis ciblent les laboratoires chinois
Photo par Claudio Schwarz sur Unsplash.
- Le fondateur de ByteDance, Zhang Yiming, a écarté l'option de la distillation pour les modèles d'IA de son entreprise.
- Cette position distingue ByteDance du copiage clandestin que la Maison Blanche accuse Moonshot AI d'avoir utilisé pour développer Kimi K3.
- Cela survient alors que Washington menace de sanctions liées à la distillation et que l'écart entre les modèles américains et chinois se réduit.
Le fondateur de ByteDance, Zhang Yiming, a déclaré que la distillation ne serait pas utilisée pour entraîner les modèles d’IA de l’entreprise. Cela différencie l’entreprise des autres laboratoires chinois d’IA qui ont été accusés d’utiliser cette technique.
Cela survient alors que les responsables américains ont accusé les laboratoires chinois d’utiliser la technique pour combler l’écart avec les modèles d’IA américains. Les responsables de Washington ont même menacé de sanctions.
Zhang trace une ligne alors que tout le monde fait des compromis
The Information rapport Zhang Yiming s’oppose farouchement à l’utilisation de la distillation dans l’entraînement des modèles d’IA de l’entreprise. Zhang a décidé de s’impliquer davantage dans les ambitions d’IA de ByteDance et a rencontré des chercheurs seniors pour acquérir une connaissance de première main, tout en surveillant les efforts de recrutement de l’entreprise.
Cela est important car cela se produit à un moment critique de la course à l’IA. Ce même mois, les responsables américains ont intensifié leur combat contre les laboratoires chinois concernant la pratique de la distillation. ByteDance possède également Seedance, un modèle vidéo rentable et leader en performance, une prouesse rare parmi les produits d’IA chinois.
Pourquoi Washington désapprouve la distillation
La distillation consiste simplement à entraîner des modèles d’IA plus faibles sur les réponses de modèles plus forts. Cela garantit que les systèmes d’IA plus petits apprennent à imiter le système plus grand. La distillation se fait ouvertement et constitue une partie routinière de l’industrie de l’IA. Elle est considérée comme légale, bien qu’elle soit généralement réalisée à petite échelle.
Michael Kratsios, qui occupe le poste de directeur du Bureau de la politique scientifique et technologique de la Maison Blanche, a allégué que Moonshot AI avait distillé le modèle Fable d’Anthropic lors de la création de Kimi K3, son système d’IA.
Il a déclaré cela dans un post sur X que Moonshot a exécuté l’opération via une plateforme interne conçue à cet effet, qui faisait tourner les routes d’accès dans le but d’éviter la détection et utilisait des serveurs NVIDIA GB300 en Thaïlande, qui sont interdits à l’exportation vers la Chine par les règles d’exportation américaines.
Anthropic aurait retracé 3,4 millions de conversations Claude vers Moonshot via de faux comptes. Moonshot n’a pas encore répondu à ces allégations.
Comment ByteDance a construit Seedance, son modèle d’IA leader
ByteDance a connu son tournant d’une manière totalement différente. L’entreprise a pris un risque sur Seedance 2.0 malgré les débats internes concernant le coût élevé et l’échelle agressive du modèle. Le modèle vidéo a été conçu pour dépasser la barre des 200 milliards de paramètres, mais a été jugé trop ambitieux par certains au sein de l’entreprise.
Le mouvement a porté ses fruits car la marge brute des modèles a oscillé autour de 70 à 90 %, après que l’entreprise a dépensé gros pour les GPU, les données et le recrutement de classe mondiale.
Washington affirme que l’écart en IA se réduit
La bataille autour de la distillation n’est que la partie émergée de l’iceberg. Scott Bessent, le secrétaire au Trésor, a évoqué la possibilité d’imposer des sanctions si et lorsque les entreprises chinoises adoptent la distillation à l’échelle industrielle. Un projet de loi bipartite du Congrès faciliterait l’identification et la sanction des tentatives de distillation.
Les chiffres ont suscité une action urgente. Malgré des dépenses en IA 23 fois supérieures à celles de la Chine, les États-Unis ont perdu leur avance sur la Chine dans la course à l’IA. Selon l’Institut de l’IA centrée sur l’humain de Stanford, les meilleurs modèles des deux pays sont pratiquement identiques.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
FAQ
Que a dit le fondateur de ByteDance concernant la distillation ?
Zhang Yiming a exclu l'utilisation de la distillation pour entraîner les modèles d'IA de ByteDance, prenant ainsi ses distances avec la technique au cœur du conflit actuel entre les États-Unis et la Chine.
De quoi Moonshot AI est-elle accusée ?
L'officiel de la Maison Blanche Michael Kratsios a accusé Moonshot AI d'avoir distillé de manière clandestine le modèle Fable d'Anthropic à une échelle industrielle pour construire Kimi K3, en utilisant un système interne dédié et des serveurs NVIDIA GB300 restreints basés en Thaïlande.
Comment le modèle Seedance de ByteDance a-t-il réussi sans distillation ?
ByteDance a investi massivement dans les talents, les données et les GPU, soutenant la démarche du chercheur Zeng Yan visant à faire passer Seedance 2.0 au-delà de 200 milliards de paramètres, produisant ainsi un modèle qui génère désormais plus de la moitié des revenus du service « modèle en tant que service » de Volcano Engine.
Hannah Collymore
Hannah est rédactrice et éditrice avec près de dix ans d'expérience dans la rédaction de blogs et le reporting d'événements dans l'espace crypto. Chez Cryptopolitan, Hannah contribue à la page actualités, en rapportant et en analysant les derniers développements dans les secteurs de la DeFi, des RWA, de la régulation des crypto-monnaies, de l'IA et des technologies de pointe. Elle est diplômée de l'Université Arcadia avec un diplôme en administration des affaires.
