Los modelos de IA dominan las capacidades mucho antes de exhibirlas, muestra la investigación

Los modelos de inteligencia artificial (IA) poseen algunas capacidades mucho antes de exhibirlas durante el entrenamiento, ha mostrado una nueva investigación. Según la investigación realizada por Havard y la Universidad de Míchigan, los modelos no muestran estas habilidades hasta que las necesitan de una u otra manera.

La investigación es una de las muchas que se han llevado a cabo para comprender cómo los modelos de IA construyen sus capacidades antes de exhibirlas.

El estudio analizó cómo los modelos de IA aprenden conceptos básicos como el tamaño y el color, revelando que dominan estas habilidades antes de lo que sugieren la mayoría de las pruebas. El estudio también proporcionó información sobre la complejidad de medir las capacidades de una IA. «Un modelo puede parecer incompetente cuando se le dan indicaciones estándar, mientras que en realidad posee habilidades sofisticadas que solo emergen bajo condiciones específicas», lee el documento.

La investigación muestra que los modelos de IA internalizan conceptos

Havard y la Universidad de Míchigan no son los primeros en intentar comprender las capacidades de los modelos de IA, con investigadores de Anthropic que desvelaron un artículo titulado «aprendizaje de diccionario». El artículo discutía el mapeo de conexiones en su lenguaje Claude a conceptos específicos que entiende. Aunque la mayoría de estas investigaciones tomaron ángulos diferentes, su objetivo principal es comprender los modelos de IA.

Anthropic reveló que encontró características que podrían relacionarse con diferentes conceptos interpretables. «Encontramos millones de características que parecen corresponder a conceptos interpretables que van desde objetos concretos como personas, países y edificios famosos hasta ideas abstractas como emociones, estilos de escritura y pasos de razonamiento», reveló la investigación.

Durante su investigación, los investigadores llevaron a cabo varios experimentos utilizando el modelo de difusión, una de las arquitecturas más populares para IA. Durante el experimento, se dieron cuenta de que los modelos tenían formas distintas de manipular conceptos básicos. Los patrones eran consistentes, ya que los modelos de IA mostraban nuevas capacidades en diferentes fases y un punto de transición agudo que señalaba cuándo se adquiría una nueva habilidad.

Durante el entrenamiento, los modelos mostraron que habían dominado los conceptos alrededor de 2.000 pasos antes de lo que detectaría una prueba estándar. Los conceptos fuertes aparecieron alrededor de los 6.000 pasos y los más débiles fueron visibles alrededor de los 20.000 pasos. Después de ajustar las señales de los conceptos, descubrieron una correlación directa con la velocidad de aprendizaje.

Los investigadores revelan métodos para acceder a capacidades ocultas

Los investigadores utilizaron métodos de indicación alternativos para revelar capacidades ocultas antes de que se exhibieran en pruebas estándar. La naturaleza generalizada de la emergencia oculta tiene efectos en la evaluación y la seguridad de la IA. Por ejemplo, los puntos de referencia tradicionales pueden pasar por alto ciertas capacidades de los modelos de IA, perdiéndose tanto las beneficiosas como las preocupantes.

Durante la investigación, el equipo descubrió ciertos métodos para acceder a las capacidades ocultas de los modelos de IA. La investigación denominó a estos métodos intervención latente lineal y sobreindicación, ya que los investigadores hicieron que los modelos exhibieran comportamientos complejos antes de que aparecieran en pruebas estándar. Los investigadores también descubrieron que los modelos de IA manipulaban ciertas características complejas antes de poder mostrarlas a través de indicaciones estándar.

Por ejemplo, se podía solicitar a los modelos que generaran «mujeres sonrientes» o «hombres con sombreros» con éxito antes de pedirles que los combinaran. Sin embargo, la investigación mostró que habían aprendido a combinarlos antes, pero no podrían exhibirlos a través de indicaciones convencionales. La exhibición de capacidades por parte de los modelos puede denominarse «grokking», una situación en la que los modelos exhiben un rendimiento perfecto en las pruebas después de un entrenamiento prolongado. Sin embargo, los investigadores dijeron que hay diferencias clave entre ambos.

Mientras que el grokking ocurre después de varias sesiones de entrenamiento e implica refinar varias distribuciones de los mismos conjuntos de datos, la investigación muestra que estas capacidades emergen durante el aprendizaje activo. Los investigadores señalaron que los modelos encontraron nuevas formas de manipular conceptos a través de cambios en las fases en lugar de mejoras graduales en la representación en el grokking.

Según la investigación, esto muestra que los modelos de IA conocen estos conceptos, simplemente no pueden exhibirlos. Es similar a las personas que ven y entienden una película en un idioma extranjero pero no pueden hablar ese idioma. Esto muestra que la mayoría de los modelos tienen más capacidades de las que muestran, y también muestra la dificultad para comprender y controlar sus capacidades.