Une étude de Google révèle que les modèles d'IA plus petits sont plus efficaces que les plus grands

Parmi toutes les études qui ont tenté de systématiser le domaine de l'intelligence artificielle (IA) et de déterminer si des modèles d'IA plus petits peuvent surpasser les plus grands en termes d'efficacité, l'étude menée par Google Research et l'Université Johns Hopkins a finalement réfuté cet argument. Elle a démontré que, dans le contexte de la génération d'images, les modèles plus petits tendent à être plus performants que leurs homologues plus grands. Le 2 mai, l'étude dirigée par Kangfu Mei et Zhengzhong Tu a révélé les propriétés d'échelle des modèles de diffusion latente (LDM). Les chercheurs ont découvert que les modifications de la résolution de l'image de sortie n'entraînent pas d'altérations significatives, tandis que l'augmentation de la taille du modèle peut conduire à des améliorations substantielles. 

Repenser l'efficacité des modèles d'IA

Les études ont utilisé des modèles linéaires discriminants (MLD) de 39 millions à 5 milliards de paramètres, avec des variations pour des tâches telles que la génération d'images à partir de texte, la super-résolution et la super-résolution personnalisée. Les participants ont suivi des processus d'entraînement et d'évaluation rigoureux et structurés. Le fait avéré que des modèles plus petits sont tout à fait performants, même s'ils ne sont pas plus grands que les modèles comparés, démontre que lorsque la puissance de calcul est limitée, les modèles plus petits peuvent même surpasser les modèles plus grands.

Les analyses menées dans le cadre de cette étude se révèlent complexes. Il convient de noter en premier lieu que les modèles de petite taille sont très performants et offrent une efficacité d'échantillonnage identique, voire supérieure, pour tous les types d'échantillonneurs à diffusion, même après distillation du modèle. 

Cette robustesse explique ainsi que la taille de la puce des modèles les moins performants fait partie intégrante de leurs mérites et n'est pas une conséquence directe d'un algorithme ou d'une méthode d'apprentissage. Néanmoins, elle admet également que des modèles plus grands peuvent s'avérer utiles dans le même but, notamment lorsque les problèmes d'allocation de ressources (comme la puissance de calcul) ne se posent pas, car ils permettent de générer des images plus détaillées.

Principales conclusions et implications

Ces découvertes sont non seulement révolutionnaires pour le paysage technologique actuel, mais elles ont également des conséquences majeures pour le développement de l'IA. Elles jouent un rôle essentiel dans le développement de systèmes d'IA permettant une génération d'images plus accessible, plus performante et plus économe en ressources, même pour les applications haut de gamme. Ceci est particulièrement important à une époque où l'on observe une demande croissante pour un développement de l'intelligence artificielle ouvert et accessible, afin qu'elle soit mise à la disposition des développeurs et, en fin de compte, des utilisateurs.

Cela s'inscrit dans une certaine tendance actuelle de la société de l'IA et prouve la supériorité de modèles plus petits comme LLaMa et Falcon par rapport aux autres dans diverses tâches. 

La tendance à utiliser des logiciels libres, performants en termes de rapidité et d'économie d'énergie, va démocratiser l'IA en permettant aux systèmes de fonctionner sans nécessiter de ressources informatiques complexes. Les implications de ce type de recherche sont considérables et pourraient transformer radicalement l'application de l'IA aux technologies du quotidien, rendant ainsi les solutions d'IA de pointe accessibles à un plus grand nombre d'utilisateurs.

Un changement de paradigme

Les recherches menées par Google Research et l'Université Johns Hopkins constituent un tournant décisif dans le développement de l'IA, car elles remettent en question les approches actuelles et incitent les praticiens à déployer des processus d'IA plus économiques et respectueux de l'environnement. 

La communauté de l'IA s'oriente désormais vers la recherche sur les modèles minuscules. Cette recherche ne résume pas non plus toute la compréhension actuelle de cette perspective, mais offre également un espace pour des innovations créatives concernant l'efficacité, la performance et la praticité de la création de systèmes d'IA.

Ce développement représente désormais non seulement un changement de paradigme dans le développement de l'IA, mais aussi une évolution du secteur vers une technologie plus inclusive et accessible. Parmi les applications croissantes de l'IA, la création de modèles déployables sur une multitude d'appareils, capables de fonctionner efficacement et avec précision, est l'un des rares éléments qui permettront à l'IA d'avoir un champ d'application beaucoup plus vaste une fois commercialisés. 

La nouveauté de cette étude réside dans les propriétés de mise à l'échelle du modèle qui intègrent les compromis entre la taille du modèle et ses performances, ce qui en fait une recherche novatrice promettant un avenir de l'IA plus efficace et accessible.