En una entrevista reciente en el podcast Training Data de Sequoia Capital, el CTO de Microsoft, Kevin Scott, reiteró su creencia en el valor duradero de las leyes de escala de modelos de lenguaje grande (LLM).
Lea también: Las aplicaciones de inteligencia artificial incluirán 'etiquetas de seguridad' que destacan los riesgos y las pruebas
Scott, quien jugó un papel importante en el acuerdo de 13 mil millones de dólares entre Microsoft y OpenAI, sigue siendo optimista sobre el potencial de avances continuos. Respondió al debate en curso afirmando que la idea de leyes de escala sigue siendo relevante para el campo de la IA .
La investigación de OpenAI respalda la ampliación de los beneficios
Las leyes de escala del LLM propuestas por los investigadores de OpenAI en 2020 establecen que la eficiencia de los modelos de lenguaje aumenta de manera proporcional con el tamaño del modelo. Scott desacreditó la ley de los rendimientos decrecientes, diciendo que todavía es posible lograr un crecimiento exponencial, pero que puede que sean necesarias las próximas generaciones de supercomputadoras para darse cuenta.
Si bien algunos académicos cuestionan la sostenibilidad de las leyes de escala, OpenAI todavía confía en ellas como un componente clave de su plan de IA. Los comentarios de Scott están en línea con el enfoque de Microsoft hacia estos principios, lo que implica que el gigante tecnológico no tiene intención de detener el desarrollo de modelos de IA más grandes.
La comunidad de IA debate futuras mejoras en los modelos
La postura de Scott es bastante opuesta a la de algunos críticos de la IA que piensan que el crecimiento se ha detenido en GPT-4 y otros modelos similares. Algunos críticos han citado los últimos modelos, incluido el Gemini 1. 5 Pro de Google y el Claude Opus de Anthropic, por no haber mostrado mejoras significativas con respecto a los modelos anteriores. El crítico de IA Gary Marcus destacó este punto de vista en abril, cuestionando la falta de avances significativos desde el lanzamiento de GPT-4.
Pero aún así, Scott se muestra optimista sobre la posibilidad de nuevos descubrimientos. También aceptó el hecho de que hay pocos puntos de datos en IA, pero enfatizó que esto ya no será un problema en el futuro.
“La próxima muestra está por llegar, y no puedo decirles cuándo, ni puedo predecir exactamente qué tan buena será, pero es casi seguro que será mejor en las cosas que son frágiles en este momento..”
kevin scott
La gran financiación de Microsoft en OpenAI es un testimonio de su confianza en el avance futuro de los LLM. Algunas de las características de IA incluyen Microsoft Copilot, lo que hace evidente dent la empresa está interesada en mejorar su uso de la IA. Ed Zitron tron un crítico de la IA, dijo que, hasta cierto punto, la IA puede estar estancada porque la gente espera demasiado de ella.
Academia Cryptopolitan: ¿Quieres hacer crecer tu dinero en 2025? Aprenda cómo hacerlo con DeFi en nuestra próxima clase web. Guarda tu lugar
