L'arme secrète de l'Europe pour défier les géants de la tech dans le domaine de l'IA générative

L'intelligence artificielle générative est actuellement le sujet le plus en vogue dans le secteur technologique, avec des acteurs majeurs comme Microsoft, Google, Amazon et Meta qui dominent le marché grâce à leurs vastes modèles de langage (LLM). Ces LLM sont largement considérés comme la prochaine grande avancée technologique. Cependant, l'Europe entrevoit une lueur d'espoir en cherchant à contester la suprématie des géants de la tech, notamment pour les langues autres que l'anglais.

Le dilemme du calcul et des données

La domination des géants de la tech dans le domaine de l'IA repose non seulement sur leur immense puissance de calcul, mais aussi sur leur accès à de vastes bases de données linguistiques, souvent collectées sur Internet. S'il peut s'avérer difficile pour une entreprise européenne de surpasser ces géants dans la création d'un modèle multilingue d'IA en anglais, la société finlandaise Silo a publié des résultats prometteurs pour son modèle multilingue appelé Poro (qui signifie « renne » en finnois).

Poro est entraîné sur des textes en finnois et en anglais, prouvant ainsi qu'il est possible de créer des modèles linguistiques multilingues (LLM) performants en combinant différentes langues. Silo affirme que ses premiers résultats démontrent sa compétitivité face aux modèles Llama open source de Meta. La collaboration de Silo avec l'Université de Turku a permis d'exploiter une mine de données issues du projet HPLT (High Performance Language Technologies), une initiative financée par l'UE qui a collecté l'impressionnant volume de données linguistiques de 7 pétaoctets (7 000 téraoctets) pour 80 langues depuis 2022. À titre de comparaison, GPT-3.5, qui a servi de base à la version finale de ChatGPT, a été entraîné sur 45 téraoctets de données textuelles.

L'accès à des données textuelles de haute qualité, financées par des fonds publics, comme c'est le cas pour HPLT, pourrait donner un avantage à des modèles comme celui de Silo dans les langues où la disponibilité des données en ligne est limitée.

L'approche multilingue

Face à la rareté des données pour des langues comme le finnois, Silo a adopté une stratégie multilingue en « entraînant » son modèle avec des données en anglais et en finnois. Cette approche consiste à fournir au modèle des textes dans les deux langues, lui permettant ainsi d'apprendre les liens entre elles. De ce fait, le modèle peut générer des réponses en finnois même s'il n'a jamais rencontré de code finnois auparavant.

Peter Sarlin, cofondateur et PDG de Silo, explique : « Il est possible de générer du code en finnois même si le modèle n’a jamais vu de code finnois. » Silo prévoit de rendre publiques ses techniques d’apprentissage croisé, ouvrant ainsi la voie au développement de modèles pour toutes les langues européennes, y compris celles pour lesquelles les données disponibles sont limitées.

La quête de la souveraineté technologique

Sarlin souligne l'important potentiel du marché des masters en droit (LLM) dispensés dans des langues autres que l'anglais. Il insiste sur la nécessité pour les entreprises européennes de ne pas dépendre exclusivement des technologies détenues par les grandes entreprises américaines. S'appuyer sur les modèles d'IA des géants du numérique risque de limiter la création de valeur en Europe. Par conséquent, il est de plus en plus impératif pour l'Europe d'affirmer sa souveraineté technologique.

La puissance de supercalcul de LUMI

L'entraînement de Poro a également bénéficié du supercalculateur LUMI, financé par l'UE et opérationnel depuis 2022. Il est à noter que LUMI utilise des puces AMD, contrairement aux puces NVIDIA, standard du secteur. Si certains considèrent les puces AMD comme coûteuses et peu performantes pour l'IA, l'équipe de Silo a investi des ressources considérables dans le développement d'un logiciel d'entraînement optimisé pour ces puces.

Sarlin indique qu'ils prévoient de rendre open source une part importante de ce logiciel et s'engagent à aider d'autres entreprises à entraîner des modèles sur LUMI. Si les entreprises européennes parviennent à exploiter des ressources comme LUMI pour l'entraînement de l'IA, cela pourrait changer la donne dans la quête du continent pour s'affirmer à l'ère de l'IA.

La renaissance européenne de l'IA

Alors que les géants de la tech continuent de déployer leur puissance en intelligence artificielle dans la Silicon Valley, l'Europe développe discrètement ses propres capacités. Les atouts du continent résident dans son approche multilingue, l'exploitation de données linguistiques financées par des fonds publics et l'exploration de solutions informatiques alternatives comme LUMI. Si le chemin à parcourir s'annonce semé d'embûches, la détermination de l'Europe à rivaliser sur la scène mondiale de l'IA estdent.

L'arme secrète de l'Europe dans la lutte contre la domination des géants de la tech en matière d'IA générative réside dans sa diversité, sa collaboration et son engagement en faveur de la souveraineté technologique. Le modèle Poro de Silo, qui illustre parfaitement ce qui est possible, donne à l'Europe une réelle chance de marquer de son empreinte le monde de l'IA.