L’essor des grands modèles de langage : transformer la génération de texte alimentée par l’IA

Les grands modèles de langage (LLMs) sont devenus une force prédominante dans le domaine de l’intelligence artificielle, révolutionnant la manière dont nous interagissons avec et générons du texte. L’avènement des grands modèles de langage peut être retracé jusqu’à l’introduction des réseaux neuronaux profonds, en particulier l’architecture Transformer en 2017.

Cette innovation a ouvert la voie à l’évolution des modèles de langage conventionnels vers les grands modèles de langage (LLMs). Les LLMs sont conçus pour gérer une multitude de tâches liées au texte, y compris la génération de texte, la génération de code, la résumation, la traduction et les applications de reconnaissance vocale. Cependant, il est important de reconnaître que les LLMs ne sont pas sans limites.

Un inconvénient notable est la qualité du texte généré, qui est souvent inférieure aux normes humaines, produisant parfois du contenu comiquement non sensé ou erroné. Les LLMs sont également connus pour générer des « hallucinations », inventant des faits qui peuvent sembler plausibles à ceux qui ignorent leurs inexactitudes. De plus, les traductions linguistiques générées par les LLMs sont rarement exactes à 100 % sans révision humaine, et le code généré par ces modèles peut contenir des bugs ou être non fonctionnel. Bien que des efforts soient faits pour empêcher les LLMs de faire des déclarations controversées ou de promouvoir des activités illégales, des invites malveillantes peuvent parfois contourner ces garde-fous.

L’entraînement des LLMs nécessite un corpus massif de données textuelles. Certains des ensembles de données utilisés incluent le 1B Word Benchmark, Wikipédia, le Toronto Books Corpus, Common Crawl et les dépôts GitHub open-source publics. Cependant, les grands ensembles de données textuelles soulèvent des préoccupations concernant les violations du droit d’auteur, avec plusieurs procès en cours pour traiter cette question. Des efforts sont en cours pour répondre à ces préoccupations, comme en témoignent des ensembles de données tels que le Colossal Clean Crawled Corpus (C4), un ensemble de données de 800 Go dérivé de Common Crawl, qui a subi un nettoyage rigoureux.

Les LLMs se distinguent des modèles de langage traditionnels par leur utilisation de réseaux neuronaux d’apprentissage profond et le besoin de millions, voire de milliards, de paramètres (poids) dans leurs réseaux neuronaux. Au fur et à mesure que le domaine a progressé, les LLMs ont grandi en taille, avec des modèles comme GPT-3 affichant un impressionnant 175 milliards de paramètres. Cependant, l’augmentation des paramètres s’accompagne de compromis, car les modèles plus grands nécessitent plus de mémoire et fonctionnent plus lentement. Notamment, des LLMs plus petits sont également apparus en 2023, offrant des options pour différentes ressources informatiques.

Une histoire des modèles de génération de texte

Les modèles de génération de texte ont une riche histoire, remontant aux travaux d’Andrey Markov en 1913, qui a appliqué les mathématiques à la poésie et a introduit le concept des chaînes de Markov pour les prédictions au niveau des caractères. Claude Shannon a étendu ce travail en 1948, et plus tard, Fred Jelinek et Robert Mercer ont appliqué des modèles de langage statistiques à la reconnaissance vocale en temps réel.

Au 21e siècle, les réseaux neuronaux, en particulier les modèles de réseaux neuronaux auto-régressifs à propagation avant, ont remplacé les modèles statistiques traditionnels. Ces modèles neuronaux ont amélioré la précision de la prédiction des mots par rapport aux méthodes précédentes de marges significatives, évoluant finalement vers ce que nous appelons maintenant les grands modèles de langage.

Les modèles de langage modernes servent à diverses fins, y compris la génération de texte, la classification, la réponse aux questions, l’analyse des sentiments, la reconnaissance d’entités, la reconnaissance vocale et manuscrite, et plus encore. La personnalisation pour des tâches spécifiques, connue sous le nom de réglage fin (fine-tuning), est réalisée par des ensembles d’entraînement supplémentaires.

Les tâches intermédiaires au sein des modèles de langage impliquent divers processus tels que la segmentation des phrases, la tokenisation des mots, l’étymologie, la lemmatisation, l’étiquetage morphosyntaxique, l’identification des mots vides, la reconnaissance d’entités nommées, la classification de texte, le fractionnement et la résolution de la coréférence. Ces tâches contribuent à la polyvalence des modèles de langage et à leur applicabilité dans une large gamme de tâches de compréhension du langage naturel.

Les grands modèles de langage, comme mentionné précédemment, se distinguent des modèles traditionnels par leurs réseaux neuronaux d’apprentissage profond, leurs vastes ensembles de données d’entraînement et leurs nombres massifs de paramètres. L’entraînement d’un LLM implique l’optimisation de ces paramètres pour minimiser les erreurs dans la tâche désignée, souvent par un apprentissage auto-supervisé , tel que la prédiction du mot suivant dans un corpus de texte.

Les LLMs les plus populaires

La récente poussée dans le développement des LLMs peut être attribuée à l’article révolutionnaire de 2017, « Attention Is All You Need », qui a introduit l’architecture Transformer. Depuis lors, de nombreux LLMs sont apparus, repoussant chacun les limites de la taille et des performances.

Les grands modèles de langage ont considérablement évolué, remodelant le paysage de la génération et de la compréhension de texte alimentées par l’IA. Bien que leurs capacités soient époustouflantes, leurs limites et leurs préoccupations éthiques ne doivent pas être négligées. À mesure que le domaine progresse, trouver un équilibre entre la taille du modèle, l’impact environnemental et la curation des données devient de plus en plus crucial pour le développement et le déploiement responsables des grands modèles de langage à l’avenir.