En una entrevista reciente en el podcast Training Data de Sequoia Capital, el director de tecnología de Microsoft, Kevin Scott, reiteró su creencia en el valor perdurable de las leyes de escalamiento del modelo de lenguaje grande (LLM).
Lea también: Las aplicaciones de IA contarán con "etiquetas de seguridad" que resaltarán los riesgos y las pruebas
Scott, quien jugó un papel clave en el acuerdo de 13 mil millones de dólares entre Microsoft y OpenAI, se mantiene optimista sobre el potencial de avances continuos. Respondió al debate en curso afirmando que la idea de escalar leyes sigue siendo relevante en el campo de la IA.
La investigación de OpenAI respalda la ampliación de los beneficios
Las leyes de escalamiento LLM propuestas por los investigadores de OpenAI en 2020 establecen que la eficiencia de los modelos lingüísticos aumenta proporcionalmente con su tamaño. Scott desacreditó la ley de rendimientos decrecientes, afirmando que aún es posible lograr un crecimiento exponencial, pero que podrían necesitarse las próximas generaciones de supercomputadoras para lograrlo.
Si bien algunos académicos cuestionan la sostenibilidad de las leyes de escalado, OpenAI aún las considera un componente clave de su plan de IA. Las observaciones de Scott coinciden con el enfoque de Microsoft respecto a estos principios, lo que implica que el gigante tecnológico no tiene intención de detener el desarrollo de modelos de IA más amplios.
La comunidad de IA debate futuras mejoras del modelo
La postura de Scott es totalmente opuesta a la de algunos críticos de la IA, quienes creen que el crecimiento se ha estancado en GPT-4 y otros modelos similares. Algunos críticos han señalado que los modelos más recientes, como Gemini 1.5 Pro de Google y Claude Opus de Anthropic, no han mostrado mejoras significativas con respecto a los modelos anteriores. El crítico de IA Gary Marcus reiteró este punto de vista en abril, cuestionando la falta de avances significativos desde el lanzamiento de GPT-4.
Aun así, Scott se muestra optimista sobre la posibilidad de nuevos descubrimientos. También aceptó que existen pocos datos en IA, pero enfatizó que esto ya no será un problema en el futuro.
“La próxima muestra está por llegar, y no puedo decirte cuándo, y no puedo predecir exactamente qué tan buena será, pero casi seguro será mejor en las cosas que son frágiles en este momento.”
Kevin Scott
La importante inversión de Microsoft en OpenAI demuestra su confianza en el futuro avance de los LLM. Algunas de las funciones de IA incluyen Microsoft Copilot, lo que demuestra dent interés de la compañía en mejorar su uso de la IA. Ed Zitron tron crítico de IA, afirmó que, hasta cierto punto, la IA podría estar estancada porque se esperan demasiado de ella.
