Découvrez Luo Fuli : l’experte en IA à l’origine du modèle open source et de la technologie MLA de DeepSeek

Luo Fuli, chercheuse de 29 ans, est surnommée « prodige de l'IA » par les internautes et ses collègues en Chine. Elle est reconnue pour son rôle déterminant dans le développement de DeepSeek-V2, le premier modèle de langage d'intelligence artificielle (IA) chinois capable de rivaliser avec ChatGPT d'OpenAI.

Selon le South China Morning Post, le grand modèle de langage (LLM) a été lancé par DeepSeek le 26 décembre 2024 et a été entraîné avec beaucoup moins de ressources que Llama de Meta.

Dans une interview accordée au média chinois 36Kr, Liang Wenfeng, fondateur de DeepSeek, a déclaré que, lors du recrutement de talents, l'entreprise privilégie les compétences à l'expérience. Selon des sources d'information locales, l'équipe de développeurs de la start-up est principalement composée de jeunes diplômés et d'dent. 

« Nos postes techniques principaux sont occupés principalement par de jeunes diplômés ou des personnes ayant une ou deux années d'expérience professionnelle », a-t-il expliqué.

Cette stratégie a permis à DeepSeek de constituer une équipe de jeunes chercheurs ambitieux, parmi lesquels Gao Huazuo et Zeng Wangding. Ces deux chercheurs sont à l'origine d'innovations majeures dans l'architecture MLA.

Luo Fuli : Tenter sa chance en informatique a porté ses fruits

Parmi les développeurs les plus recherchés de l'entreprise figure Luo Fuli. On la décrit comme une experte en technologie brillante et empathique, possédanttronexpérience en traitement automatique du langage naturel (TALN). Luo Fuli aurait grandi dans un milieu modeste. Son intérêt pour la technologie lui viendrait de son père, ingénieur électricien.

L'ascension de Luo dans le domaine de l'IA a débuté à l'Institut de linguistique informatique de l'Université de Pékin. des informations issues de recherches approfondies et des réseaux sociaux, elle aurait initialement hésité à se lancer dans des études en informatique. Fuli a même essuyé plusieurs échecs durant ce parcours.

Elle a finalement trouvé sa passion pour l'IA et s'est fait un nom grâce à des recherches novatrices. De plus, la rumeur court que Luo aurait reçu des propositions d'emploi pendant ses études, mais qu'elle les aurait toutes refusées.

En 2019, elle a attiré l'attention du secteur technologique chinois après avoir publié huit articles sur le traitement automatique du langage naturel (TALN) lors de la conférence de l'Association for Computational Linguistics (ACL).

Ses connaissances et sa contribution en traitement automatique du langage naturel lui ont valu plusieurs offres de grandes entreprises technologiques, notamment d'Alibaba.

À la DAMO Academy d'Alibaba, Luo a contribué à VECO, un modèle d'IA multilingue. Elle a également travaillé sur le projet open source AliceMind de l'entreprise, aidant ainsi la plateforme de vente en ligne à faire progresser ses initiatives en matière d'IA. Cependant, ses ambitions dépassaient le cadre de la recherche en entreprise. C'est pourquoi elle a rejoint DeepSeek AI, dirigé par Wengfeng, en 2022, en tant que chercheuse principale.

Luo Fuli et la jeune équipe de développeurs de DeepSeek AI

Dès le départ, Luo faisait partie de l'équipe qui a concrétisé DeepSeek-V2. Il s'agit d'un modèle de langage de grande taille et économique que les locaux ont surnommé « AI Pinduoduo », en référence au géant chinois du commerce électronique en ligne connu pour ses prix abordables. 

Un féminisme à la chinoise.

Voici Luo Fuli, un prodige de DeepSeek et auteur de 8 articles sur l'IA !

Elle a obtenu son master à l'Université de Pékin en 2020.

J'ai travaillé chez Alibaba, puis j'ai rejoint DeepSeek en 2022, où j'ai accompli des choses extraordinaires. Et maintenant, je viens d'être recruté par le labo d'IA de Xiaomi ! pic.twitter.com/MCz3ahXKVJ

– SL Kanthan (@Kanthan2030) 29 janvier 2025

Lors d'une conférence technologique en 2023, Luo a démontré que son modèle offrait des capacités linguistiques chinoises exceptionnelles, rivalisant même avec les meilleurs systèmes d'IA mondiaux tels que ChatGPT et Qwei.

Luo Fuli attribue le succès de DeepSeek-V2 à une combinaison d'architecture innovante, d'infrastructure robuste et de l'engagement de l'entreprise en matière de transparence. Durant son passage chez DeepSeek, l'entreprise a partagé ouvertement ses rapports techniques, les pondérations de ses modèles et son code d'inférence sur GitHub. Cette initiative visait à concrétiser son approche open source du développement de l'IA.

DeepSeek AI – La technologie open source à son apogée

L'une des caractéristiques marquantes de DeepSeek-V2 est son utilisation de l'attention multiniveau (MLA) et de l'architecture Mixture of Experts (MoE). L'attention multiniveau permet au modèle de se concentrer sur différents niveaux d'information textuelle, à l'instar d'un lecteur humain qui traite un livre. Il répartit ainsi l'attention entre les phrases, les paragraphes et les chapitres en fonction du contexte. 

Parallèlement, MoE optimise l'efficacité de calcul en confiant les tâches à des « experts » virtuels sélectionnés au sein du modèle. Cette optimisation a permis de réduire la consommation de ressources tout en améliorant les performances.

Luo Fuli estime que la Chine a besoin de davantage de laboratoires d'IA. Elle insiste sur le fait que son pays devrait se concentrer sur des projets d'ingénierie concrets et de grande envergure.

Luo Fuli s'est égalementtronimpliquée en faveur d'une réorientation de la recherche vers des applications concrètes. Cette nouvelle orientation devrait garantir que les progrès de l'IA se traduisent par des avantages tangibles pour les entreprises et les consommateurs.

L'influence grandissante de cette informaticienne de 29 ans dans le secteur de l'IA n'est pas passée inaperçue. Selon le SCMP, le fondateur de Xiaomi lui aurait personnellement proposé une rémunération annuelle de 10 millions de yuans, mais on ignore si elle a accepté l'offre.