Rencontrez Luo Fuli : la pro de l'IA derrière le modèle open source de DeepSeek et la technologie MLA

Luo Fuli est une chercheuse de 29 ans à qui les internautes et les collègues en Chine ont donné le surnom de « prodige de l'IA ». Elle est connue pour son rôle clé dans le développement de DeepSeek-V2. Il s'agit du premier modèle de langage d'intelligence artificielle (IA) de Chine capable de rivaliser avec le ChatGPT d'OpenAI.

Selon le South China Morning Post, le modèle de langage large (LLM) a été lancée développé par DeepSeek le 26 décembre 2024, et il a été entraîné avec beaucoup moins de ressources que le Llama de Meta.

Lors d'une conférence en mai 2023 avec Punchbowl News. avec le média chinois 36Kr, le fondateur de DeepSeek, Liang Wenfeng, a déclaré que lors du recrutement des talents, l'entreprise privilégie la compétence plutôt que l'expérience. Les sources locales suggèrent que l'équipe de développeurs de la startup est composée principalement de diplômés et d'étudiants universitaires. 

« Nos rôles techniques clés sont occupés principalement par de jeunes diplômés ou des personnes ayant une ou deux années d'expérience professionnelle », a-t-il expliqué.

Cette stratégie a permis DeepSeek de constituer une équipe de jeunes chercheurs ambitieux, dont Gao Huazuo et Zeng Wangding. Ces deux derniers sont crédités d'innovations clés dans l'architecture MLA.

Luo Fuli : Parier sur l'informatique a payé

Parmi les développeurs les plus recherchés de l'entreprise se trouve Luo Fuli. Elle est décrite comme une experte technologique « brillante » et sincère, avec une solide formation en traitement du langage naturel (NLP). Fuli aurait grandi dans un environnement modeste. On dit que son intérêt pour la technologie pourrait provenir de son père, ingénieur électricien.

La montée en puissance de Luo dans le domaine de l'IA a commencé à l'Institut de linguistique computationnelle de l'Université de Pékin. Des rapports enquêtes approfondies et les réseaux sociaux indiquent qu'elle était initialement incertaine quant à l'étude de l'informatique. Fuli a même échoué à plusieurs reprises dans ce domaine.

Cependant, elle a finalement trouvé sa passion pour l'IA et s'est fait un nom grâce à des recherches révolutionnaires. De plus, on raconte que Luo a reçu des invitations et des offres d'emploi alors qu'elle était encore à l'école, mais qu'elle les a toutes refusées.

En 2019, elle a attiré l'attention du secteur technologique chinois après avoir publié huit articles sur le NLP lors de la conférence de l'Association for Computational Linguistics (ACL).

Ses connaissances et ses contributions en NLP lui ont valu plusieurs offres de la part de grandes entreprises technologiques, en particulier Alibaba.

À l'Académie DAMO d'Alibaba, Luo a contribué à VECO, un modèle d'IA multilingue. Elle a travaillé sur le projet open source AliceMind de l'entreprise, aidant la place de marché en ligne à faire avancer ses initiatives d'IA. Cependant, ses ambitions ont dépassé la recherche en entreprise. À cette fin, elle a rejoint DeepSeek AI, dirigée par Wengfeng, en 2022 en tant que chercheure principale.

Luo Fuli et la jeune équipe de développeurs de DeepSeek AI

Au tout début, Luo faisait partie de l'équipe qui a concrétisé DeepSeek-V2. Il s'agit d'un modèle de langage large rentable que les locaux ont surnommé « AI Pinduoduo » – une référence au géant chinois du commerce en ligne connu pour ses prix abordables. 

Le féminisme aux caractéristiques chinoises.

Voici Luo Fuli, une prodige de DeepSeek et auteure de 8 articles sur l'IA !

Elle a obtenu sa maîtrise de l'Université de Pékin en 2020.

A travaillé chez Alibaba, a rejoint DeepSeek en 2022, a fait des choses incroyables, et a maintenant été « volé » par le laboratoire d'IA de Xiaomi ! pic.twitter.com/MCz3ahXKVJ

— S.L. Kanthan (@Kanthan2030) le 29 janvier 2025

S'exprimant lors d'une conférence technologique en 2023, Luo a mis en lumière la manière dont le modèle offre des capacités linguistiques chinoises de premier ordre. Cela rivalisait même avec les meilleurs systèmes d'IA mondiaux tels que ChatGPT et Qwen.

Luo Fuli attribue le succès de DeepSeek-V2 à une combinaison d'architecture innovante, d'infrastructures robustes et à l'engagement de l'entreprise envers la transparence. Pendant son temps à l'entreprise, DeepSeek a partagé ouvertement ses rapports techniques, les poids des modèles et le code d'inférence sur GitHub. Cela visait à concrétiser son approche open source du développement de l'IA.

DeepSeek AI – La technologie open source à son apogée

L'une des caractéristiques marquantes de DeepSeek-V2 est son utilisation de l'architecture Multi-Level Attention (MLA) et Mixture of Experts (MoE). MLA permet au modèle de se concentrer sur différents niveaux d'informations textuelles – semblable à la façon dont un lecteur humain traite un livre. Il déplace l'attention entre les phrases, les paragraphes et les chapitres en fonction du contexte. 

Pendant ce temps, MoE optimise l'efficacité computationnelle en dirigeant les tâches vers des « experts » virtuels sélectionnés au sein du modèle. Cette accumulation a réduit la consommation de ressources tout en augmentant les performances.

Luo Fuli estime que la Chine a besoin de plus de laboratoires d'IA. Elle insiste sur le fait que son pays devrait se concentrer sur des projets d'ingénierie pratiques et à grande échelle.

Luo Fuli a également été une fervente défenseure d'un changement vers une recherche qui privilégie les applications réelles. La nouvelle orientation devrait garantir que les avancées de l'IA se traduisent par des avantages tangibles pour les entreprises et les consommateurs.

L'influence croissante de la technicienne de 29 ans dans l'industrie de l'IA n'est pas passée inaperçue. Selon rapports le SCMP, le fondateur de Xiaomi lui a personnellement offert un package de compensation annuel de 10 millions de yuans, mais on ignore si elle a accepté l'offre.