Europas geheime Waffe, um Big Tech in der Generativen KI herauszufordern

Generative KI ist derzeit der heißeste Brocken in der Tech-Branche, wobei große Akteure wie Microsoft, Google, Amazon und Meta die Szene mit ihren Large Language Models (LLMs) dominieren. Diese LLMs werden weithin als der nächste große Durchbruch in der Technologie angesehen. Doch es gibt einen Hoffnungsschimmer für Europa, das versucht, die Vorherrschaft von Big Tech herauszufordern, insbesondere bei Sprachen jenseits des Englischen.

Das Rechen- und Daten-Dilemma

Die Dominanz von Big Tech im KI-Bereich wird nicht nur durch ihre enorme Rechenleistung getrieben, sondern auch durch den Zugang zu umfangreichen Sprachdaten, die oft aus dem Internet gescraped wurden. Während es für ein europäisches Unternehmen eine gewaltige Aufgabe sein mag, Big Tech beim Aufbau eines englischen LLM zu übertreffen, hat ein finnisches KI-Unternehmen namens Silo vielversprechende Ergebnisse für sein mehrsprachiges Modell namens Poro (finnisch für Rentier) veröffentlicht.

Poro wurde sowohl mit finnischem als auch mit englischem Text trainiert und dient als Beweis dafür, dass hochleistungsfähige LLMs durch die Mischung verschiedener Sprachen erstellt werden können. Silo behauptet, dass frühe Ergebnisse seine Wettbewerbsfähigkeit mit den Open-Source-LLMs von Meta demonstrieren. Silos Zusammenarbeit mit der Universität Turku hat einen Schatz an Daten aus dem EU-finanzierten Projekt The High Performance Language Technologies (HPLT) genutzt, das seit 2022 erschütternde 7 Petabyte (7.000 Terabyte) Sprachdaten in 80 Sprachen gesammelt hat. Um dies ins Verhältnis zu setzen: GPT-3.5, das die Release-Version von ChatGPT antrieb, wurde mit 45 Terabyte Textdaten trainiert.

Der Zugang zu solchen hochwertigen, öffentlich finanzierten Textdaten, wie im Fall von HPLT, kann Modellen wie Silo einen Vorteil in Sprachen mit begrenzter Verfügbarkeit von Online-Daten verschaffen.

Der mehrsprachige Ansatz

Aufgrund der Knappheit von Daten für Sprachen wie Finnisch hat Silo eine mehrsprachige Strategie übernommen, indem es sein Modell durch „Cross-Training“ sowohl mit englischen als auch mit finnischen Daten trainierte. Dieser Ansatz beinhaltet das Füttern des Modells mit Texten in beiden Sprachen, sodass es lernen kann, wie die beiden Sprachen miteinander zusammenhängen. Infolgedessen kann das Modell Antworten auf Finnisch generieren, auch wenn es zuvor keinen finnischen Code gesehen hat.

Peter Sarlin, Mitbegründer und CEO von Silo, erklärt: „Sie können Code auf Finnisch generieren, obwohl das Modell keinen finnischen Code gesehen hat.“ Silo plant, seine Cross-Training-Techniken zu veröffentlichen, was möglicherweise den Weg für die Entwicklung von Modellen in allen europäischen Sprachen ebnet, einschließlich solcher mit begrenzter Datenverfügbarkeit.

Das Streben nach technologischer Souveränität

Sarlin weist darauf hin, dass es auf dem Markt eine große Chance für LLMs in Sprachen außer Englisch gibt. Er betont die Bedeutung, dass europäische Unternehmen nicht ausschließlich auf Technologie großer US-Unternehmen angewiesen sind. Die Nutzung von Big-Tech-KI-Modellen könnte dazu führen, dass nur wenig Wertschöpfung in Europa verbleibt. Daher gibt es einen wachsenden Imperativ für Europa, seine technologische Souveränität zu behaupten.

Supercomputing-Leistung von LUMI

Das Training von Poro profitierte auch vom EU-finanzierten Supercomputer LUMI, der 2022 in Betrieb genommen wurde. Bemerkenswerterweise verwendet LUMI AMD-Chips, was eine Abkehr von den branchenüblichen NVIDIA-Chips darstellt. Während einige AMD-Chips als teuer und ineffizient für KI halten, investierte Silos Team erhebliche Ressourcen in die Entwicklung von KI-Trainingssoftware, die für sie optimiert ist.

Sarlin gibt an, dass sie planen, einen erheblichen Teil dieser Software zu veröffentlichen, und sind bestrebt, anderen Unternehmen beim Training von Modellen auf LUMI zu helfen. Wenn europäische Unternehmen Ressourcen wie LUMI für das KI-Training nutzen können, könnte dies ein Wendepunkt im Bestreben des Kontinents sein, sich im Zeitalter der KI zu behaupten.

Die europäische Renaissance in der KI

Während Big Tech seine KI-Muskeln in Silicon Valley weiterhin zur Schau stellt, baut Europa quietly sein eigenes Arsenal auf. Die Stärken des Kontinents liegen in seinem mehrsprachigen Ansatz, der Nutzung öffentlich finanzierter Sprachdaten und der Erforschung alternativer Computing-Optionen wie LUMI. Auch wenn der Weg vor uns herausfordernd sein mag, ist Europas Entschlossenheit, auf der globalen KI-Bühne mitzuwirken, offensichtlich.

Europas geheime Waffe im Kampf gegen die Dominanz von Big Tech im generativen KI-Bereich wurzelt in seiner Vielfalt, Zusammenarbeit und seinem Engagement für technologische Souveränität. Mit Silos Poro-Modell als Beweis dafür, was erreicht werden kann, hat Europa möglicherweise eine realistische Chance, seine Spuren in der Welt der KI zu hinterlassen.