Les petits modèles de langage (SLM) sont présentés comme la prochaine grande révolution dans le domaine de l'IA

Alors que les entreprises investissent massivement dans les grands modèles de langage (LLM), certains experts du secteur de l'IA pensent que les petits modèles de langage (SLM) deviendront la prochaine grande révolution.

Cette situation survient alors que l'activité du secteur continue de croître à l'approche des fêtes de fin d'année, les entreprises technologiques investissant davantage de fonds dans le développement de leurs technologies.

L'avenir réside dans les petits modèles de langage

Des entreprises comme xAI, dirigée par le multimilliardaire Elon Musk, ont réussi à lever 5 milliards de dollars supplémentaires auprès d'Andreessen Horowitz, de la Qatar Investment Authority, de Sequoia et de Valor Equity Partners, tandis qu'Amazon a investi 4 milliards de dollars supplémentaires dans Anthropic, un concurrent d' OpenAI.

Alors que ces géants de la tech et d'autres investissent des milliards de dollars dans le développement de grands LLM capables de gérer de nombreuses tâches différentes, la réalité de l'IA est qu'il n'existe pas de solution universelle, car les entreprises ont besoin de modèles spécifiques à chaque tâche.

Selon Matt Garman, PDG d'AWS, dans un communiqué sur l'expansion de leur partenariat et de leurs investissements, la réponse des clients d'AWS qui développent une IA générative basée sur Anthropic est déjà massive.

Pour la plupart des entreprises, les LLM restent le choix numéro un pour certains projets, mais pour d'autres, ce choix peut s'avérer coûteux en termes de coûts, d'énergie et de ressources informatiques.

Steven McMillan, présidentdent directeur général de Teradata, qui a proposé une voie alternative à certaines entreprises, partage également un avis différent. Il est convaincu que l'avenir réside dans les SLM.

« Pour l’avenir, nous pensons que les modèles de langage de petite et moyenne taille et les environnements contrôlés, tels que les LLM spécifiques à un domaine, offriront des solutions bien meilleures. »

~ McMillan

langage (SLM) produisent des résultats personnalisés en fonction de types de données spécifiques, car les modèles de langage sont spécifiquement entraînés à cet effet. Étant donné que les données générées par les SLM sont stockées en interne, les modèles de langage sont donc entraînés sur des données potentiellement sensibles.

Les modèles de langage lourds étant énergivores, leurs versions allégées sont conçues pour adapter la puissance de calcul et la consommation énergétique aux besoins réels du projet. Grâce à ces ajustements, les versions allégées sont plus efficaces et moins coûteuses que les modèles lourds actuels.

Pour les utilisateurs souhaitant exploiter l'IA pour des connaissances spécifiques, il existe l'option des masters , car ils ne proposent pas de connaissances générales. L'IA est entraînée à comprendre en profondeur une seule catégorie d'informations et à répondre avec plus de précision, par exemple, un directeur marketing (CMO) par rapport à un directeur financier (CFO), dans ce domaine.

Pourquoi les SLM sont une option privilégiée

Selon l'Association des scientifiques des données (ADaSci), le développement complet d'un SLM avec 7 milliards de paramètres pour un million d'utilisateurs ne nécessiterait que 55,1 MWh (mégawattheures).

ADaSci a constaté que l'entraînement de GPT-3 avec 175 milliards de paramètres consommait environ 1 287 MWh d'électricité, sans compter la consommation lors de sa mise en service officielle. Par conséquent, un SLM consomme environ 5 % de l'énergie nécessaire à l'entraînement d'un LLM.

Les modèles complexes sont généralement exécutés sur des serveurs cloud car ils nécessitent une puissance de calcul supérieure à celle disponible sur un appareil individuel. Cela engendre des complications pour les entreprises qui perdent le contrôle de leurs données lors de leur transfert vers le cloud, et des ralentissements dus à leur transmission sur Internet.

À l'avenir, l'adoption de l'IA par les entreprises ne se fera pas de manière uniforme, car l'efficacité et le choix de l'outil le plus performant et le moins coûteux pour accomplir les tâches seront au cœur des préoccupations, ce qui implique de choisir le modèle adapté à chaque projet.

Cela sera fait pour tous les modèles, qu'il s'agisse d'un LLM à usage général ou de LLM plus petits et spécifiques à un domaine, selon le modèle qui donnera de meilleurs résultats, nécessitera moins de ressources et réduira le besoin de migrer les données vers le cloud.

Pour la prochaine étape, l'IA sera essentielle aux décisions commerciales, car le public a une grande confiance dans les réponses générées par l'IA.

« Lorsqu’on pense à l’entraînement des modèles d’IA, il faut impérativement les construire sur la base de données de qualité. »

~ McMillan

« C’est précisément notre raison d’être : fournir cet ensemble de données fiables, puis les capacités et les outils d’analyse nécessaires pour que nos clients, et leurs propres clients, puissent avoir confiance dans les résultats », a ajouté McMillan.

Dans un monde où l'efficacité et la précision sont très recherchées, les LLM plus petits et spécialisés offrent une autre option pour obtenir des résultats sur lesquels les entreprises et le grand public peuvent compter.