Europas Geheimwaffe im Kampf gegen die großen Technologiekonzerne im Bereich der generativen KI

Generative KI ist derzeit das heißeste Thema in der Technologiebranche, wobei große Player wie Microsoft, Google, Amazon und Meta mit ihren umfangreichen Sprachmodellen (LLMs) den Markt dominieren. Diese LLMs gelten weithin als der nächste große technologische Durchbruch. Doch es gibt einen Hoffnungsschimmer für Europa, das versucht, die Vormachtstellung der großen Technologiekonzerne herauszufordern, insbesondere bei Sprachen jenseits des Englischen.

Das Rechen- und Datendilemma

Die Dominanz der großen Technologiekonzerne im Bereich der künstlichen Intelligenz (KI) beruht nicht nur auf ihrer enormen Rechenleistung, sondern auch auf dem Zugriff auf umfangreiche Sprachdaten, die häufig aus dem Internet gesammelt werden. Während es für ein europäisches Unternehmen eine große Herausforderung sein dürfte, die großen Konzerne bei der Entwicklung eines englischen LLM-Programms zu übertreffen, hat das finnische KI-Unternehmen Silo vielversprechende Ergebnisse für sein mehrsprachiges Modell Poro (finnisch für Rentier) veröffentlicht.

Poro wurde sowohl mit finnischen als auch mit englischen Texten trainiert und beweist damit, dass leistungsstarke Sprachmodelle durch die Kombination verschiedener Sprachen entstehen können. Silo gibt an, dass erste Ergebnisse die Wettbewerbsfähigkeit von Poro gegenüber den Open-Source-Llama-Modellen von Meta belegen. Die Zusammenarbeit von Silo mit der Universität Turku nutzte einen wahren Datenschatz aus dem EU-geförderten Projekt „High Performance Language Technologies“ (HPLT), das seit 2022 beeindruckende 7 Petabyte (7.000 Terabyte) an Sprachdaten in 80 Sprachen gesammelt hat. Zum Vergleich: GPT-3.5, das der veröffentlichten Version von ChatGPT zugrunde liegt, wurde mit 45 Terabyte an Textdaten trainiert.

Der Zugang zu solch hochwertigen, öffentlich finanzierten Textdaten, wie im Fall von HPLT, könnte Modellen wie dem von Silo einen Vorteil bei Sprachen mit begrenzter Online-Datenverfügbarkeit verschaffen.

Der mehrsprachige Ansatz

Aufgrund der Datenknappheit für Sprachen wie Finnisch verfolgte Silo eine mehrsprachige Strategie, indem das Modell mit englischen und finnischen Daten trainiert wurde. Dabei wird dem Modell Text in beiden Sprachen zugeführt, sodass es die Zusammenhänge zwischen den beiden Sprachen lernt. Dadurch kann das Modell Antworten auf Finnisch generieren, selbst wenn es zuvor noch nie finnischen Code gesehen hat.

Peter Sarlin, Mitgründer und CEO von Silo, erklärt: „Man kann Code in Finnisch generieren, obwohl das Modell noch nie finnischen Code gesehen hat.“ Silo plant, seine Cross-Training-Techniken als Open Source zu veröffentlichen und damit möglicherweise den Weg für die Entwicklung von Modellen für alle europäischen Sprachen zu ebnen, auch für solche mit begrenzten Daten.

Das Streben nach technologischer Souveränität

Sarlin weist darauf hin, dass der Markt für LLM-Studiengänge in anderen Sprachen als Englisch ein erhebliches Potenzial bietet. Er betont, wie wichtig es für europäische Unternehmen ist, sich nicht ausschließlich auf Technologien großer US-amerikanischer Konzerne zu verlassen. Die Nutzung von KI-Modellen großer Technologiekonzerne könnte dazu führen, dass nur wenig Wertschöpfung in Europa verbleibt. Daher ist es für Europa zunehmend dringlich, seine technologische Souveränität zu wahren.

Supercomputerleistung von LUMI

Poros Training profitierte auch vom EU-finanzierten Supercomputer LUMI, der 2022 in Betrieb ging. Bemerkenswert ist, dass LUMI AMD-Chips verwendet und damit von den branchenüblichen NVIDIA-Chips abweicht. Obwohl AMD-Chips von manchen als teuer und ineffizient für KI angesehen werden, investierte Silos Team erhebliche Ressourcen in die Entwicklung einer für diese Chips optimierten KI-Trainingssoftware.

Sarlin gibt an, einen Großteil dieser Software als Open Source veröffentlichen zu wollen und andere Unternehmen beim Training von Modellen auf LUMI zu unterstützen. Sollten europäische Unternehmen Ressourcen wie LUMI für das KI-Training nutzen können, könnte dies einen entscheidenden Unterschied für den Kontinent im Zeitalter der KI bedeuten.

Die europäische Renaissance der KI

Während die großen Technologiekonzerne im Silicon Valley ihre KI-Kompetenz weiter ausbauen, entwickelt Europa im Stillen sein eigenes Arsenal. Die Stärken des Kontinents liegen in seinem mehrsprachigen Ansatz, der Nutzung öffentlich finanzierter Sprachdaten und der Erforschung alternativer Rechenoptionen wie LUMI. Auch wenn der Weg in die Zukunft herausfordernd sein mag, ist Europas Entschlossenheit, im globalen KI-Wettbewerb mitzuhalten,dent.

Europas Geheimwaffe im Kampf gegen die Dominanz der großen Technologiekonzerne im Bereich der generativen KI liegt in seiner Vielfalt, seiner Kooperationsfähigkeit und seinem Bekenntnis zur technologischen Souveränität. Mit Silos Poro-Modell als Beweis für das Machbare hat Europa durchaus eine Chance, sich in der Welt der KI zu etablieren.