Lernen Sie Luo Fuli kennen: Der KI-Experte hinter DeepSeeks Open-Source-Modell und der MLA-Technologie

Luo Fuli ist eine 29-jährige Forscherin, die von Internetnutzern und Kollegen in China den Spitznamen „KI-Wunderkind“ erhalten hat. Sie ist bekannt für ihre entscheidende Rolle bei der Entwicklung von DeepSeek-V2. Dies ist Chinas erstes KI-Sprachmodell, das es mit OpenAIs ChatGPT aufnehmen kann.

Laut South China Morning Post wurde das große Sprachmodell (LLM) veröffentlicht und mit deutlich weniger Ressourcen trainiert als Metas Llama.

In einem Interview mit dem chinesischen Medienportal 36Kr im Mai 2023 erklärte Liang Wenfeng, Gründer von DeepSeek, dass das Unternehmen bei der Personalsuche Wert auf Fähigkeiten und nicht auf Erfahrung lege. Lokale Medien berichten, dass das Entwicklerteam des Startups größtenteils aus Hochschulabsolventen und Studierendendent. 

„Unsere technischen Kernpositionen werden überwiegend mit Hochschulabsolventen oder solchen mit ein bis zwei Jahren Berufserfahrung besetzt“, erklärte er.

Diese Strategie hat DeepSeek , ein Team ambitionierter junger Forscher aufzubauen, darunter Gao Huazuo und Zeng Wangding. Den beiden werden wichtige Innovationen in der MLA-Architektur zugeschrieben.

Luo Fuli: Der Versuch, Informatik zu studieren, hat sich gelohnt

Zu den gefragtesten Entwicklern des Unternehmens zählt Luo Fuli. Sie gilt als kluge und engagierte Technologieexpertin mittronKenntnissen in der Verarbeitung natürlicher Sprache (NLP). Fuli wuchs Berichten zufolge in bescheidenen Verhältnissen auf. Ihr Interesse an Technologie soll von ihrem Vater, einem Elektroingenieur, stammen.

Luos Aufstieg im Bereich der KI begann am Institut für Computerlinguistik der Peking-Universität. Unbestätigten Berichten zufolge, die auf eingehenden Recherchen und Beiträgen in sozialen Medien basieren, war sie anfangs unsicher, ob sie Informatik studieren sollte. Fuli scheiterte währenddessen sogar einige Male.

Letztendlich entdeckte sie jedoch ihre Leidenschaft für KI und machte sich durch bahnbrechende Forschung einen Namen. Gerüchten zufolge erhielt Luo bereits während ihres Studiums Jobangebote, die sie jedoch alle ablehnte.

Im Jahr 2019 erregte sie die Aufmerksamkeit des chinesischen Technologiesektors, nachdem sie acht Artikel über NLP auf der Konferenz der Association for Computational Linguistics (ACL) veröffentlicht hatte.

Aufgrund ihrer Kenntnisse und ihres Beitrags im Bereich NLP erhielt sie mehrere Angebote von großen Technologieunternehmen, insbesondere von Alibaba.

An der DAMO Academy von Alibaba wirkte Luo an VECO mit, einem mehrsprachigen KI-Modell. Sie arbeitete am Open-Source-Projekt AliceMind des Unternehmens und unterstützte den Online-Marktplatz bei seinen KI-Initiativen. Ihre Ambitionen reichten jedoch über die Unternehmensforschung hinaus. Daher trat sie 2022 eine Stelle als leitende Forscherin bei DeepSeek AI unter der Leitung von Wengfeng an.

Luo Fuli und das junge Entwicklerteam von DeepSeek AI

Ganz am Anfang war Luo Teil des Teams, das DeepSeek-V2 realisierte. Dabei handelt es sich um ein kostengünstiges großes Sprachmodell, das von den Einheimischen den Spitznamen „AI Pinduoduo“ erhielt – in Anlehnung an den chinesischen Online-E-Commerce-Riesen, der für seine günstigen Preise bekannt ist. 

Feminismus mit chinesischen Merkmalen.

Das ist Luo Fuli, ein Wunderkind bei DeepSeek und Autor von 8 KI-Veröffentlichungen!

Sie erwarb ihren Master-Abschluss an der Peking-Universität im Jahr 2020.

Ich habe bei Alibaba gearbeitet, bin 2022 zu DeepSeek gekommen, habe dort Großartiges geleistet und wurde jetzt vom KI-Labor von Xiaomi abgeworben! pic.twitter.com/MCz3ahXKVJ

– SL Kanthan (@Kanthan2030) 29. Januar 2025

Auf einer Technologiekonferenz im Jahr 2023 verdeutlichte Luo, dass das Modell erstklassige Fähigkeiten in der chinesischen Sprache bietet. Diese können es sogar mit den besten globalen KI-Systemen wie ChatGPT und Qwei aufnehmen.

Luo Fuli führte den Erfolg von DeepSeek-V2 auf eine Kombination aus innovativer Architektur, robuster Infrastruktur und dem Engagement des Unternehmens für Transparenz zurück. Während ihrer Zeit im Unternehmen teilte DeepSeek seine technischen Berichte, Modellgewichte und den Inferenzcode offen auf GitHub. Dies diente der Umsetzung des Open-Source-Ansatzes für die KI-Entwicklung.

DeepSeek AI – Open-Source-Technologie in ihrer Blütezeit

Eine der herausragenden Eigenschaften von DeepSeek-V2 ist die Verwendung von Multi-Level Attention (MLA) und der Mixture of Experts (MoE)-Architektur. MLA ermöglicht es dem Modell, sich auf verschiedene Ebenen textueller Informationen zu konzentrieren – ähnlich wie ein menschlicher Leser ein Buch verarbeitet. Je nach Kontext verschiebt es die Aufmerksamkeit zwischen Sätzen, Absätzen und Kapiteln. 

MoE optimiert die Recheneffizienz, indem es Aufgaben an ausgewählte virtuelle „Experten“ innerhalb des Modells weiterleitet. Der Aufbau reduzierte den Ressourcenverbrauch bei gleichzeitiger Leistungssteigerung.

Luo Fuli ist der Ansicht, dass China mehr KI-Labore benötigt. Sie besteht darauf, dass sich ihr Land auf praxisorientierte und groß angelegte Ingenieurprojekte konzentrieren sollte.

Luo Fuli hat sich zudemtronfür eine Verlagerung des Forschungsschwerpunkts hin zu praxisorientierten Anwendungen eingesetzt. Diese neue Ausrichtung soll sicherstellen, dass Fortschritte im Bereich der KI zu konkreten Vorteilen für Unternehmen und Verbraucher führen.

Der wachsende Einfluss der 29-jährigen IT-Expertin in der KI-Branche ist nicht unbemerkt geblieben. Laut Berichten der SCMP bot ihr der Gründer von Xiaomi persönlich ein jährliches Gehaltspaket von 10 Millionen Yuan an, es ist jedoch unklar, ob sie das Angebot angenommen hat.