- Kevin Scott, CTO de Microsoft, réaffirme sa conviction en la validité des lois d'échelle des LLM.
- Scott déclare être optimiste quant aux futures percées dans les capacités de l'IA.
- La position de Microsoft s'aligne sur ses investissements massifs dans l'IA.
Lors d'une récente interview sur le podcast Training Data de Sequoia Capital, le CTO de Microsoft, Kevin Scott, a réitéré sa croyance en la valeur durable des lois de mise à l'échelle des modèles de langage (LLM).
À lire également : Les applications d'IA devront comporter des « étiquettes de sécurité » mettant en évidence les risques et les tests
Scott, qui a joué un grand rôle dans l'accord de 13 milliards de dollars entre Microsoft et OpenAI, reste optimiste quant au potentiel de progrès continus. Il a répondu au débat en cours en affirmant que l'idée des lois de mise à l'échelle reste pertinente pour le domaine de l'IA.
La recherche d'OpenAI soutient les avantages de la mise à l'échelle
Les lois de mise à l'échelle des LLM proposées par les chercheurs d'OpenAI en 2020 indiquent que l'efficacité des modèles de langage augmente de manière proportionnelle à la taille du modèle. Scott a discrédité la loi des rendements décroissants, affirmant qu'il est toujours possible d'atteindre une croissance exponentielle, mais qu'il faudra peut-être les prochaines générations de supercalculateurs pour la réaliser.
Bien que certains universitaires remettent en question la durabilité des lois de mise à l'échelle, OpenAI s'y appuie toujours comme un composant clé de son plan d'IA. Les remarques de Scott sont conformes à l'approche de Microsoft à l'égard de ces principes, ce qui implique que le géant de la technologie n'a pas l'intention d'arrêter le développement de modèles d'IA plus grands.
La communauté de l'IA débat des améliorations futures des modèles
La position de Scott est tout à fait opposée à celle de certains critiques de l'IA qui pensent que la croissance s'est arrêtée à GPT-4 et à d'autres modèles similaires. Certains critiques ont cité les derniers modèles, y compris Gemini 1.5 Pro de Google et Claude Opus d'Anthropic, pour ne pas avoir montré d'améliorations significatives par rapport aux modèles précédents. Le critique de l'IA Gary Marcus a mis en évidence ce point de vue en avril, remettant en question le manque d'avancées significatives depuis la sortie de GPT-4.
Mais Scott reste optimiste quant à la possibilité de nouvelles découvertes. Il a également admis qu'il y a peu de points de données en IA, mais a souligné que ce ne sera plus un problème à l'avenir.
« Le prochain échantillon arrive, et je ne peux pas vous dire quand, et je ne peux pas prédire exactement à quel point il sera bon, mais il sera presque certainement meilleur pour les choses qui sont fragiles en ce moment.”
Kevin Scott
Le financement massif de Microsoft dans OpenAI témoigne de sa confiance dans les progrès futurs des LLM. Certaines des fonctionnalités de l'IA incluent Microsoft Copilot, ce qui montre que l'entreprise est déterminée à améliorer son utilisation de l'IA. Ed Zitron, un critique de l'IA, a déclaré que, dans une certaine mesure, l'IA peut être bloquée parce que les gens s'attendent trop d'elle.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Brenda Kanana
Brenda possède plus de 4 ans d'expérience spécialisée en cryptomonnaies, intelligence artificielle et technologies émergentes. Elle a travaillé chez Zycrypto, Blockchain Reporter et The Coin Republic, et fait désormais de Cryptopolitan son foyer. Son diplôme en sociologie de l'Université technique de Mombasa lui permet de rester alignée avec les préoccupations de ses lecteurs.
