El director de tecnología de Microsoft defiende las leyes de escalabilidad de la IA

En una entrevista reciente en el podcast Training Data de Sequoia Capital, el director de tecnología de Microsoft, Kevin Scott, reiteró su creencia en el valor perdurable de las leyes de escalamiento del modelo de lenguaje grande (LLM). 

Lea también: Las aplicaciones de IA incluirán "etiquetas de seguridad" que resaltarán los riesgos y las pruebas.

Scott, quien jugó un papel clave en el acuerdo de 13 mil millones de dólares entre Microsoft y OpenAI, se mantiene optimista sobre el potencial de avances continuos. Respondió al debate en curso afirmando que la idea de escalar leyes sigue siendo relevante en el campo de la IA. 

La investigación de OpenAI respalda la ampliación de los beneficios

Las leyes de escalamiento LLM propuestas por los investigadores de OpenAI en 2020 establecen que la eficiencia de los modelos lingüísticos aumenta proporcionalmente con su tamaño. Scott desacreditó la ley de rendimientos decrecientes, afirmando que aún es posible lograr un crecimiento exponencial, pero que podrían necesitarse las próximas generaciones de supercomputadoras para lograrlo. 

Si bien algunos académicos cuestionan la sostenibilidad de las leyes de escalado, OpenAI aún las considera un componente clave de su plan de IA. Las observaciones de Scott coinciden con el enfoque de Microsoft respecto a estos principios, lo que implica que el gigante tecnológico no tiene intención de detener el desarrollo de modelos de IA más amplios.

La comunidad de IA debate futuras mejoras del modelo

La postura de Scott es totalmente opuesta a la de algunos críticos de la IA que opinan que el desarrollo se ha estancado en GPT-4 y otros modelos similares. Algunos críticos han señalado que los modelos más recientes, como Gemini 1.5 Pro de Google y Claude Opus de Anthropic, no han mostrado mejoras significativas con respecto a los modelos anteriores. El crítico de IA Gary Marcus destacó este punto de vista en abril, cuestionando la falta de avances significativos desde el lanzamiento de GPT-4. 

Aun así, Scott se muestra optimista sobre la posibilidad de nuevos descubrimientos. También aceptó que existen pocos datos en IA, pero enfatizó que esto ya no será un problema en el futuro.

“La próxima muestra está por llegar, y no puedo decirte cuándo, y no puedo predecir exactamente qué tan buena será, pero casi seguro será mejor en las cosas que son frágiles en este momento.”

Kevin Scott

La importante inversión de Microsoft en OpenAI es una muestra de su confianza en el futuro desarrollo de los másteres en derecho (LLM). Algunas de las funciones de IA incluyen Microsoft Copilot, lo que evidenciadent interés de la compañía por mejorar el uso de la inteligencia artificial. Ed Zitrontroncrítico de la IA, afirmó que, en cierta medida, la IA podría estar estancada porque la gente espera demasiado de ella.