Los modelos de IA dominan capacidades mucho antes de exhibirlas, según muestra una investigación

Una nueva investigación ha demostrado que los modelos de inteligencia artificial (IA) poseen ciertas capacidades mucho antes de exhibirlas durante el entrenamiento. Según la investigación realizada por Harvard y la Universidad de Michigan, los modelos no muestran estas capacidades hasta que, de una forma u otra, las necesitan.

La investigación es una de las muchas que se han llevado a cabo para comprender cómo los modelos de IA desarrollan sus capacidades antes de mostrarlas.

El estudio analizó cómo los modelos de IA aprenden conceptos básicos como el tamaño y el color, revelando que dominan estas habilidades antes de lo que sugieren la mayoría de las pruebas. El estudio también aportó información sobre la complejidad de medir las capacidades de una IA. «Un modelo puede parecer incompetente al recibir instrucciones estándar, cuando en realidad posee habilidades sofisticadas que solo se manifiestan en condiciones específicas», se lee en el documento.

La investigación muestra que los modelos de IA internalizan conceptos

Harvard y la Universidad de Michigan no son las primeras en intentar comprender las capacidades de los modelos de IA. Investigadores de Anthropic presentaron un artículo titulado "Aprendizaje de diccionario". El artículo abordaba la identificación de conexiones en el lenguaje Claude con conceptos específicos que este comprende. Si bien la mayoría de estas investigaciones adoptaron diferentes enfoques, su objetivo principal era comprender los modelos de IA.

Anthropic reveló que encontró características que podrían vincularse a diferentes conceptos interpretables. "Encontramos millones de características que parecen corresponder a conceptos interpretables, desde objetos concretos como personas, países y edificios famosos hasta ideastraccomo emociones, estilos de escritura y pasos de razonamiento", reveló la investigación.

Durante su investigación, los investigadores realizaron varios experimentos utilizando el modelo de difusión, una de las arquitecturas más populares para la IA. Durante el experimento, se dieron cuenta de que los modelos tenían distintas maneras de manipular conceptos básicos. Los patrones fueron consistentes, ya que los modelos de IA mostraron nuevas capacidades en diferentes fases y un punto de transición preciso que indicaba la adquisición de una nueva habilidad.

Durante el entrenamiento, los modelos demostraron dominar conceptos unos 2000 pasos antes de lo que detectaría una prueba estándar. Los conceptos mástronaparecieron alrededor de los 6000 pasos y los menos sólidos, alrededor de los 20 000. Tras ajustar las señales conceptuales, se descubrió una correlación directa con la velocidad de aprendizaje.

Investigadores revelan métodos para acceder a capacidades ocultas

Los investigadores utilizaron métodos alternativos de estimulación para revelar capacidades ocultas antes de que se manifestaran en pruebas estándar. La naturaleza desenfrenada de la emergencia oculta afecta la evaluación y la seguridad de la IA. Por ejemplo, los puntos de referencia tradicionales pueden pasar por alto ciertas capacidades de los modelos de IA, pasando por alto tanto las beneficiosas como las preocupantes.

Durante la investigación, el equipo ideó métodos para acceder a las capacidades ocultas de los modelos de IA. La investigación denominó estos métodos intervención latente lineal y sobreindicación, ya que los investigadores lograron que los modelos exhibieran comportamientos complejos antes de que se manifestaran en pruebas estándar. También descubrieron que los modelos de IA manipulaban ciertas características complejas antes de poder mostrarlas mediante indicaciones estándar.

Por ejemplo, se podría pedir a los modelos que generaran correctamente "mujeres sonrientes" u "hombres con sombreros" antes de pedirles que los combinaran. Sin embargo, la investigación demostró que ya habían aprendido a combinarlo, pero no podrían demostrarlo mediante indicaciones convencionales. Se puede decir que los modelos que demuestran capacidades están asimilando, una situación en la que los modelos exhiben un rendimiento perfecto en las pruebas después de un entrenamiento prolongado. No obstante, los investigadores señalaron que existen diferencias clave entre ambos.

Si bien la asimilación ocurre tras varias sesiones de entrenamiento e implica el refinamiento de varias distribuciones de los mismos conjuntos de datos, la investigación muestra que estas capacidades surgen durante el aprendizaje activo. Los investigadores observaron que los modelos encontraron nuevas maneras de manipular conceptos mediante cambios en fases, en lugar de mejoras graduales en la representación durante la asimilación.

Según la investigación, los modelos de IA conocen estos conceptos, pero no pueden mostrarlos. Es similar a que las personas vean y comprendan una película extranjera, pero no hablen el idioma. Esto demuestra que la mayoría de los modelos tienen más capacidades de las que demuestran, y también la dificultad para comprenderlas y controlarlas.