Le directeur technique de Microsoft défend les lois sur la mise à l'échelle de l'IA

Dans une récente interview sur le podcast Training Data de Sequoia Capital, le directeur technique de Microsoft, Kevin Scott, a réitéré sa conviction quant à la valeur durable des lois de mise à l'échelle des grands modèles de langage (LLM). 

À lire également : Les applications d’IA comporteront des « étiquettes de sécurité » signalant les risques et les tests

Scott, qui a joué un rôle déterminant dans l'accord de 13 milliards de dollars entre Microsoft et OpenAI, reste optimiste quant aux perspectives de progrès futurs. Il a réagi au débat actuel en affirmant que la notion de lois d'échelle demeure pertinente dans le domaine de l'IA. 

Les recherches d'OpenAI confirment les avantages de la mise à l'échelle

Les lois de mise à l'échelle des modèles de langage (LLM) proposées par les chercheurs d'OpenAI en 2020 stipulent que l'efficacité de ces modèles augmente proportionnellement à leur taille. Scott a réfuté la loi des rendements décroissants, affirmant qu'une croissance exponentielle reste possible, mais qu'elle pourrait nécessiter les prochaines générations de supercalculateurs. 

Bien que certains chercheurs remettent en question la pérennité des lois de mise à l'échelle, OpenAI s'y appuie toujours comme un élément clé de sa stratégie en matière d'IA. Les propos de Scott rejoignent l'approche de Microsoft concernant ces principes, ce qui laisse entendre que le géant technologique n'a aucune intention de freiner le développement de modèles d'IA toujours plus performants.

La communauté de l'IA débat des améliorations futures des modèles

La position de Scott est diamétralement opposée à celle de certains critiques de l'IA qui estiment que les progrès se sont arrêtés à GPT-4 et autres modèles similaires. Certains critiques reprochent aux modèles les plus récents, comme Gemini 1.5 Pro de Google et Claude Opus d'Anthropic, de ne pas avoir apporté d'améliorations significatives par rapport aux modèles précédents. Le critique en IA Gary Marcus a mis en lumière ce point de vue en avril, s'interrogeant sur l'absence d'avancées notables depuis la sortie de GPT-4. 

Scott reste néanmoins optimiste quant à la possibilité de nouvelles découvertes. Il reconnaît également le manque de données disponibles en IA, mais souligne que ce problème ne se posera plus à l'avenir.

« Le prochain échantillon arrive, et je ne peux pas vous dire quand, ni prédire exactement sa qualité, mais il sera presque certainement meilleur pour les aspects actuellement fragiles. ».”

Kevin Scott

L'important investissement de Microsoft dans OpenAI témoigne de sa confiance dans le développement futur des technologies d'apprentissage automatique. Parmi les fonctionnalités d'IA intégrées, on retrouve Microsoft Copilot, ce qui démontre ladent de l'entreprise d'améliorer son utilisation de l'IA. Ed Zitrontroncritique de l'IA, a déclaré que, dans une certaine mesure, l'IA pourrait être bloquée car on en attend trop.