L'arme secrète de l'Europe pour défier les GAFAM dans l'IA générative

L'IA générative est actuellement le sujet le plus brûlant de la tech, avec des acteurs majeurs comme Microsoft, Google, Amazon et Meta dominant la scène avec leurs grands modèles de langage (LLM). Ces LLM sont largement considérés comme la prochaine grande percée technologique. Cependant, il y a une lueur d'espoir pour l'Europe alors qu'elle cherche à défier la suprématie des GAFAM, en particulier pour les langues autres que l'anglais.

Le dilemme du calcul et des données

La domination des GAFAM dans le domaine de l'IA est entraînée non seulement par leur puissance de calcul massive, mais aussi par l'accès à d'immenses données linguistiques, souvent extraites d'Internet. Bien qu'il puisse être difficile pour une entreprise européenne de surpasser les GAFAM dans la construction d'un LLM en anglais, une entreprise d'IA finlandaise nommée Silo a publié des résultats prometteurs pour son modèle multilingue appelé Poro (renne en finnois).

Poro est formé sur des textes en finnois et en anglais, servant de preuve que des LLM à haute performance peuvent être créés en mélangeant différentes langues. Silo affirme que les premiers résultats démontrent sa compétitivité avec les modèles Llama open-source de Meta. La collaboration de Silo avec l'Université de Turku a exploité un trésor de données issu de l'initiative financée par l'UE connue sous le nom de projet HPLT (High Performance Language Technologies), qui a collecté une stupéfiante 7 pétaoctets (7 000 téraoctets) de données linguistiques dans 80 langues depuis 2022. Pour mettre cela en perspective, GPT-3.5, qui a alimenté la version de lancement de ChatGPT, a été formé sur 45 téraoctets de données textuelles.

L'accès à de telles données textuelles de haute qualité, financées publiquement, comme dans le cas de HPLT, pourrait donner aux modèles comme celui de Silo un avantage dans les langues ayant une disponibilité limitée de données en ligne.

L'approche multilingue

En raison de la rareté des données pour des langues comme le finnois, Silo a adopté une stratégie multilingue en « cross-training » (formation croisée) son modèle avec des données en anglais et en finnois. Cette approche consiste à nourrir le modèle de texte dans les deux langues, lui permettant d'apprendre comment les deux langues se rapportent les unes aux autres. En conséquence, le modèle peut générer des réponses en finnois même s'il n'a jamais rencontré de code finnois auparavant.

Peter Sarlin, cofondateur et PDG de Silo, explique : « Vous êtes capable de générer du code en finnois même si le modèle n'a vu aucun code finnois. » Silo prévoit d'open-source ses techniques de formation croisée, ouvrant potentiellement la voie au développement de modèles dans toutes les langues européennes, y compris celles avec des données disponibles limitées.

La quête de souveraineté technologique

Sarlin souligne qu'il existe une opportunité significative sur le marché pour les LLM dans des langues autres que l'anglais. Il insiste sur l'importance pour les entreprises européennes de ne pas dépendre uniquement de la technologie détenue par de grandes entreprises américaines. S'appuyer sur les modèles d'IA des GAFAM pourrait entraîner peu de création de valeur restant en Europe. Par conséquent, il y a une impératif croissant pour l'Europe d'affirmer sa souveraineté technologique.

Puissance de supercalcul depuis LUMI

L'entraînement de Poro a également bénéficié du supercalculateur financé par l'UE connu sous le nom de LUMI, devenu opérationnel en 2022. Fait notable, LUMI utilise des puces AMD, une déviation par rapport aux puces NVIDIA standard dans l'industrie. Bien que certains considèrent les puces AMD comme coûteuses et inefficaces pour l'IA, l'équipe de Silo a investi des ressources importantes dans le développement de logiciels d'entraînement d'IA optimisés pour elles.

Sarlin indique qu'ils prévoient d'open-source une partie substantielle de ce logiciel et s'engagent à aider d'autres entreprises à former des modèles sur LUMI. Si les entreprises européennes peuvent exploiter des ressources comme LUMI pour l'entraînement d'IA, cela pourrait être un changement de jeu dans la quête du continent pour s'affirmer à l'ère de l'IA.

La renaissance européenne de l'IA

Alors que les GAFAM continuent de montrer leurs muscles en IA dans la Silicon Valley, l'Europe construit silencieusement son propre arsenal. Les forces du continent résident dans son approche multilingue, l'exploitation de données linguistiques financées publiquement et l'exploration d'options de calcul alternatives comme LUMI. Bien que la route à venir puisse être difficile, la détermination de l'Europe à concourir sur la scène mondiale de l'IA est évidente.

L'arme secrète de l'Europe dans la bataille contre la domination des GAFAM dans l'IA générative est ancrée dans sa diversité, sa collaboration et son engagement envers la souveraineté technologique. Avec le modèle Poro de Silo comme témoignage de ce qui peut être accompli, l'Europe pourrait bien avoir une chance de laisser sa marque dans le monde de l'IA.