Los modelos de IA más pequeños superan a los más grandes en eficiencia, según un estudio de Google

Entre todos los estudios que han intentado sistematizar el campo de la inteligencia artificial (IA) y que han abordado la cuestión de si existe un punto en el que los modelos de IA más pequeños puedan superar en eficacia a los más grandes, el estudio de Google Research y la Universidad Johns Hopkins finalmente ha refutado ese argumento. Ha demostrado que, en el contexto de la generación de imágenes, los modelos más pequeños tienden a tener un mejor rendimiento que sus contrapartes de mayor tamaño. El 2 de mayo, el estudio dirigido por Kangfu Mei y Zhengzhong Tu reveló las propiedades de escalado de los modelos de difusión latente (LDM). Descubrieron que los cambios en la resolución de la imagen de salida no producen alteraciones significativas; sin embargo, aumentar el tamaño del modelo puede generar mejoras sustanciales. 

Repensando la eficiencia del modelo de IA

Los estudios emplearon LDM de 39 millones a 5 mil millones de parámetros con variedades para tareas como la generación de texto a imagen, la superresolución y la superresolución dirigida por el sujeto, mientras los participantes se sometían a procesos de entrenamiento y evaluación cuidadosamente practicados y evaluados. El hecho comprobado de que los modelos más pequeños son más que suficientes, incluso si no son más grandes que los modelos comparados, demuestra que, cuando la computación es limitada, los modelos más pequeños pueden incluso superar a los modelos más grandes.

Las exploraciones realizadas en este estudio resultan complejas. El primer punto a destacar es que los modelos pequeños ofrecen un alto rendimiento y una eficiencia de muestreo igual o superior en todos los tipos de muestreadores de difusión, incluso después de la destilación del modelo. 

Esta robustez explica que la escala de chip de los modelos inferiores sea fundamental para sus ventajas y no una consecuencia directa de un algoritmo o método de entrenamiento. Sin embargo, también admite que los modelos más grandes pueden ser útiles para el mismo propósito, especialmente cuando no surgen problemas de asignación de recursos (como la potencia computacional), ya que pueden crear imágenes con mayor detalle.

Principales hallazgos e implicaciones

Estos descubrimientos no solo son revolucionarios para el panorama tecnológico actual, sino que también tienen consecuencias significativas para el desarrollo de la IA. Desempeñan un papel fundamental en el desarrollo de sistemas de IA que permitan una generación de imágenes más accesible, potente y eficiente en recursos con capacidades de alta gama. Esto es especialmente importante en una época en la que se ha intensificado el llamado al desarrollo de la inteligencia artificial con apertura y accesibilidad, de forma que llegue a los desarrolladores y, en última instancia, a los usuarios.

Está en línea con una cierta tendencia de la sociedad de IA que prevalece hoy en día y esto proporciona evidencia de la superioridad de modelos más pequeños como LLaMa y Falcon en comparación con el resto en diversas tareas. 

La tendencia a aplicar códigos fuente abiertos, eficientes en términos de velocidad y ahorro de energía, aumentará el nivel de democracia en el mundo de la IA, al permitir que el sistema funcione sin requerir la sensibilidad de sistemas informáticos avanzados. Las implicaciones de este tipo de estudio son asombrosas, lo que podría transformar por completo la forma en que la IA se aplica a las tecnologías cotidianas y poner soluciones de IA de alto nivel a disposición de más usuarios.

Un cambio de paradigma

Los estudios de investigación de Google Research y la Universidad Johns Hopkins han creado un punto crítico en el desarrollo de la IA, ya que cuestionan los enfoques actuales de desarrollo de la IA y guían a los profesionales a implementar procesos de IA más baratos y respetuosos con el medio ambiente. 

La comunidad de IA pasa al área de investigación de modelos minúsculos; esta investigación tampoco resume toda la comprensión actual de la perspectiva, pero también brinda espacio para innovaciones creativas con respecto a la eficiencia, el rendimiento y la practicidad de la creación de sistemas de IA.

Este desarrollo representa, de ahora en adelante, no solo un cambio de paradigma en el desarrollo de la tecnología de IA, sino también un avance de la industria hacia la inclusividad y la accesibilidad tecnológica. Entre los aspectos que se destacan por la creciente presencia de la IA, la creación de modelos implementables en una gran variedad de dispositivos, capaces de funcionar de forma eficiente y precisa, es uno de los pocos factores que pueden ampliar considerablemente el espectro de aplicaciones de la IA una vez que estos dispositivos se comercialicen. 

La novedad de este estudio entra en juego por las propiedades de escalamiento del modelo que incorporan las compensaciones entre el tamaño del modelo y el rendimiento, lo que las convierte en una investigación innovadora que se llevará a cabo y que promete un futuro de IA más eficiente y accesible.