Les petits modèles linguistiques (SLM) sont présentés comme la prochaine grande chose en IA

Alors que les entreprises investissent massivement dans les grands modèles linguistiques (LLM), certains experts de l'industrie de l'IA estiment que les petits modèles linguistiques (SLM) deviendront la prochaine grande tendance.

Cela survient alors que l'activité dans l'industrie continue de croître avec l'approche de la saison des fêtes, les entreprises technologiques investissant davantage de fonds pour développer leurs technologies.

L'avenir est dans les petits modèles linguistiques

Des entreprises comme xAI, dirigée par le multi-milliardaire Elon Musk, ont réussi à lever 5 milliards de dollars supplémentaires auprès d'Andreessen Horowitz, de Qatar Investment Authority, de Sequoia et de Valor Equity Partners, tandis qu'Amazon investissait 4 milliards de dollars supplémentaires dans Anthropic, un concurrent de OpenAI.

Alors que ces grandes entreprises technologiques et d'autres investissent des milliards de dollars en se concentrant sur le développement de grands LLM pour gérer de nombreuses tâches différentes, la réalité de l'IA est qu'il n'y a pas de solution unique adaptée à tous, car il existe un besoin de modèles spécifiques à la tâche pour les entreprises.

Selon le PDG d'AWS, Matt Garman, dans un communiqué sur leur partenariat en expansion et leurs investissements, il y a déjà une réponse écrasante des clients AWS qui développent une IA générative alimentée par Anthropic.

Les LLM restent le premier choix pour la plupart des entreprises pour certains projets, mais pour d'autres, ce choix peut être coûteux en termes de coût, d'énergie et de ressources informatiques.

Steven McMillan, président et PDG de Teradata, qui a proposé une voie alternative pour certaines entreprises, a également d'autres opinions. Il est convaincu que l'avenir réside dans les SLM.

« En regardant vers l'avenir, nous pensons que les petits et moyens modèles linguistiques et les environnements contrôlés tels que les LLM spécifiques au domaine fourniront des solutions bien meilleures. »

~ McMillan

Les SLM produisent des sorties personnalisées sur des types de données spécifiques car les modèles linguistiques sont spécifiquement entraînés pour cela. Puisque les données générées par les SLM sont conservées en interne, les modèles linguistiques sont donc entraînés sur des données potentiellement sensibles.

Les LLM étant très consommateurs d'énergie, les versions de petits modèles linguistiques sont entraînées pour mettre à l'échelle l'utilisation de l'informatique et de l'énergie en fonction des besoins réels du projet. Avec de tels ajustements, cela signifie que les SLM sont efficaces à un coût inférieur à celui des grands modèles actuels.

Pour les utilisateurs qui souhaitent utiliser l'IA pour des connaissances spécifiques, il existe l'option de LLM spécifiques au domaine, car ils n'offrent pas de connaissances générales. Ils sont entraînés pour comprendre profondément une seule catégorie d'informations et répondre plus précisément, par exemple un CMO par rapport à un CFO, dans ce domaine.

Pourquoi les SLM sont une option privilégiée

Selon l'Association of Data Scientists (ADaSci), le développement complet d'un SLM avec 7 milliards de paramètres pour un million d'utilisateurs nécessiterait seulement 55,1 MWh (mégawattheures).

ADaSci a découvert que l'entraînement de GPT-3 avec 175 milliards de paramètres a consommé une estimation de 1 287 MWh d'électricité, et cette puissance n'inclut pas l'utilisation officielle par le public. Par conséquent, un SLM utilise environ 5 % de l'énergie consommée pour l'entraînement d'un LLM.

Les grands modèles sont généralement exécutés sur des ordinateurs cloud car ils utilisent plus de puissance de calcul que ce qui est disponible sur un appareil individuel. Cela entraîne des complications pour les entreprises car elles perdent le contrôle de leurs informations lorsqu'elles migrent vers le cloud, et des réponses lentes car les données voyagent à travers Internet.

À l'avenir, l'adoption de l'IA par les entreprises ne sera pas une solution unique adaptée à tous, car l'efficacité et la sélection de l'outil le meilleur et le moins cher pour accomplir les tâches seront au centre de l'attention, ce qui signifie choisir la bonne taille de modèle pour chaque projet.

Cela sera fait pour tous les modèles, qu'il s'agisse d'un LLM à usage général ou de LLM plus petits et spécifiques au domaine, en fonction du modèle qui fournira de meilleurs résultats, nécessitera moins de ressources et réduira le besoin de migration des données vers le cloud.

Pour la prochaine phase, l'IA sera vitale pour les décisions commerciales car le public a une grande confiance dans les réponses générées par l'IA.

« Lorsque vous pensez à l'entraînement des modèles d'IA, ils doivent être construits sur les fondations de grandes données. »

~ McMillan

« C'est ce que nous faisons, fournir cet ensemble de données de confiance, puis fournir les capacités et les capacités analytiques afin que les clients, et leurs clients, puissent faire confiance aux sorties », a ajouté McMillan.

Avec l'efficacité et la précision très demandées dans le monde, les LLM plus petits et spécifiques au domaine offrent une autre option pour fournir des résultats sur lesquels les entreprises et le grand public peuvent s'appuyer.