Alors que les entreprises investissent de l’argent dans les grands modèles de langage (LLM), certains experts du secteur de l’IA pensent que les petits modèles de langage (SLM) deviendront la prochaine grande nouveauté.
Cela survient alors que l’activité du secteur continue de croître à l’approche des fêtes de fin d’année, les entreprises technologiques investissant davantage de fonds pour développer leur technologie.
L'avenir est dans les petits modèles de langage
Des sociétés comme xAI, dirigées par le multimilliardaire Elon Musk, ont réussi à lever 5 milliards de dollars supplémentaires auprès d'Andreessen Horowitz, de la Qatar Investment Authority, de Sequoia et de Valor Equity Partners, tandis qu'Amazon a investi 4 milliards de dollars supplémentaires dans Anthropic, un rival d' OpenAI .
Alors que ces grandes technologies et d’autres investissent des milliards de dollars en se concentrant sur le développement de grands LLM pour gérer de nombreuses tâches différentes, la réalité de l’IA est qu’il n’existe pas de solution universelle car les entreprises ont besoin de modèles spécifiques à des tâches spécifiques.
Selon Matt Garman, PDG d'AWS, dans un communiqué sur l'expansion de leur partenariat et de leurs investissements, il y a déjà une réponse massive de la part des clients d'AWS qui développent une IA générative optimisée par Anthropic.
Pour la plupart des entreprises, les LLM restent le choix numéro un pour certains projets, mais pour d'autres, ce choix peut s'avérer coûteux en termes de coût, d'énergie et de ressources informatiques.
Steven McMillan, président dent PDG de Teradata, qui a proposé une voie alternative à certaines entreprises, a également d'autres points de vue. Il est convaincu que l'avenir réside dans les SLM.
"Alors que nous regardons vers l'avenir, nous pensons que les modèles de langage petits et moyens et les environnements contrôlés tels que les LLM spécifiques à un domaine fourniront de bien meilleures solutions."
~ McMillan
Les SLM produisent des sorties personnalisées sur des types de données spécifiques, car les modèles de langage sont spécifiquement formés pour cela. Les données générées par les SLM étant conservées en interne, les modèles de langage sont donc entraînés sur des données potentiellement sensibles.
Les LLM étant énergivores, les petites versions linguistiques sont formées pour adapter à la fois la consommation informatique et énergétique aux besoins réels du projet. Avec de tels ajustements, cela signifie que les SLM sont efficaces à un coût inférieur à celui des grands modèles actuels.
Pour les utilisateurs qui souhaitent utiliser l’IA pour acquérir des connaissances spécifiques, il existe la possibilité de suivre des LLM , car ils n’offrent pas de connaissances étendues. Il est formé pour comprendre en profondeur une seule catégorie d'informations et réagir avec plus de précision, par exemple un CMO par rapport à un CFO, dans ce domaine.
Pourquoi les SLM sont une option privilégiée
Selon l'Association of Data Scientists (ADaSci), le développement complet d'un SLM avec 7 milliards de paramètres pour un million d'utilisateurs ne nécessiterait que 55,1 MWh (mégawattheures).
ADaSci a découvert que la formation de GPT-3 avec 175 milliards de paramètres consommait environ 1 287 MWh d'électricité et que cette puissance n'inclut pas le moment où elle sera officiellement utilisée par le public. Par conséquent, un SLM utilise environ 5 % de l’énergie consommée par la formation d’un LLM.
Les grands modèles sont généralement exécutés sur des ordinateurs cloud, car ils utilisent plus de puissance de calcul que ce qui est jamais disponible sur un appareil individuel. Cela entraîne des complications pour les entreprises, car elles perdent le contrôle de leurs informations lorsqu'elles migrent vers le cloud, et ralentissent leurs réponses lorsqu'elles transitent par Internet.
À l’avenir, l’adoption de l’IA par les entreprises ne sera pas universelle, car l’efficacité et la sélection de l’outil le meilleur et le moins coûteux pour accomplir les tâches seront au centre des préoccupations, ce qui signifie choisir le modèle de bonne taille pour chaque projet.
Cela sera fait pour tous les modèles, qu'il s'agisse d'un LLM à usage général ou de LLM plus petits et spécifiques à un domaine, selon le modèle qui fournira de meilleurs résultats, nécessitera moins de ressources et réduira le besoin de migration des données vers le cloud .
Pour la prochaine phase, l’IA sera vitale pour les décisions commerciales, car le public a une grande confiance dans les réponses générées par l’IA.
"Lorsque vous envisagez de former des modèles d'IA, ils doivent être construits sur la base de données de qualité."
~ McMillan
« C'est notre mission : fournir cet ensemble de données fiables, puis fournir les capacités et les capacités d'analyse afin que les clients, et leurs clients, puissent faire confiance aux résultats », a ajouté McMillan.
L'efficacité et la précision étant très demandées dans le monde, les LLM plus petits et spécifiques à un domaine offrent une autre option pour fournir des résultats sur lesquels les entreprises et le grand public peuvent compter.
Cryptopolitan Academy: fatiguée des balançoires du marché? Découvrez comment DeFi peut vous aider à créer un revenu passif stable. Inscrivez-vous maintenant
