Cómo prevenir el colapso del modelo y el efecto dominó del aprendizaje de IA a partir de IA

Resumen TL;DR

• Entrenar modelos de IA en datos generados por IA conduce a percepciones distorsionadas y representaciones inexactas.
• El uso de datos generados por IA para entrenar modelos de IA plantea la posibilidad de colapso del modelo y desviación de la distribución de datos verdadera.
• Priorizar los datos generados por humanos es fundamental para prevenir el colapso de los modelos de IA y mantener la precisión.

La Inteligencia Artificial (IA) ha realizado avances notables en los últimos años, con avances en los modelos de aprendizaje automático que han llevado a importantes avances. Por otro lado, ha surgido una tendencia preocupante donde los modelos de IA se están entrenando con datos generados por IA. En un artículo titulado "La maldición de la recursión: entrenar con datos generados hace que los modelos olviden", investigadores de instituciones prestigiosas han arrojado luz sobre los posibles peligros de esta práctica. Advierten que este enfoque puede llevar a un fenómeno conocido como colapso del modelo, donde los modelos de IA pierden su capacidad de percibir la realidad con precisión. Este artículo profundiza en las complejidades del colapso del modelo y destaca la importancia de confiar en datos generados por humanos para mantener la integridad de los modelos de IA.

La maldición de la recursión conduce al colapso del modelo

Investigadores de Cambridge, Oxford, la Universidad de Toronto y el Imperial College de Londres han identificado una consecuencia preocupante de entrenar modelos de IA en datos generados por IA. Según sus hallazgos, el colapso del modelo ocurre cuando los datos generados contaminan el conjunto de entrenamiento de generaciones posteriores de modelos. En términos más simples, los modelos de IA, al ser entrenados con datos contaminados, desarrollan una percepción distorsionada de la realidad. Como resultado, producen representaciones inexactas que se desvían de la distribución de datos subyacente verdadera.

El problema del colapso del modelo no se limita a un tipo específico de modelo de IA. Algunos observan en varios modelos generativos aprendidos y herramientas, incluidos los modelos de lenguaje grandes (LLM), autoencoders variacionales y modelos de mezcla gaussiana. La acumulación de generaciones exacerba el problema, ya que los modelos olvidan progresivamente la distribución de datos original. La consecuencia es una simulación desvinculada de la realidad, lo que hace que los modelos de IA sean delirantes.

El aprendizaje de la IA a partir de la IA es una tendencia peligrosa

La aparición de modelos de IA entrenados con datos generados por la IA representa una tendencia preocupante. A medida que la tecnología avanza, a veces los modelos de aprendizaje automático se entrenan intencionalmente con las salidas de otros sistemas de IA. Por ejemplo, los modelos de aprendizaje de lenguaje (LLM) se están entrenando con las salidas generadas por GPT-4. Además, plataformas como DeviantArt permiten que el arte creado por la IA se publique y se utilice como datos de entrenamiento para nuevos modelos de IA. Aunque esto podría parecer un paso adelante, conlleva riesgos significativos.

Los investigadores advierten que el proceso de aprendizaje de la IA a partir de la IA podría llevar a una proliferación de colapsos de modelos. Similar a los problemas encontrados al intentar la clonación indefinida, entrenar modelos de IA con datos generados por la IA puede crear una cascada de inexactitudes y distorsiones. A medida que los modelos continúan aprendiendo de datos contaminados, se desvinculan aún más de la distribución de datos verdadera, lo que resulta en una pérdida de comprensión del mundo real.

Los datos generados por humanos previenen el colapso del modelo

Para prevenir las consecuencias perjudiciales del colapso del modelo, es crucial mantener el acceso a la fuente original de datos generados por humanos. Los investigadores proponen que existe una “ventaja del primer movimiento” para entrenar modelos de IA. Al garantizar que los modelos se entrenen con datos reales producidos por humanos, se puede mitigar el riesgo de cambio de distribución y el subsiguiente colapso del modelo.

La prevención del colapso del modelo requiere abordar las dos causas principales identificadas en el artículo de investigación. El “error de aproximación estadística” es la causa inicial debido al número limitado de muestras de datos. La segunda causa es el “error de aproximación funcional”, resultante de la configuración inadecuada del margen de error durante el entrenamiento de la IA. Estos errores pueden acumularse a lo largo de las generaciones, lo que lleva a una cascada creciente de inexactitudes dentro de los modelos.

Proteger el futuro de los modelos de IA

El auge de la IA aprendiendo de la IA presenta desafíos significativos para el futuro de los modelos de IA. El fenómeno del colapso del modelo, donde los modelos de IA pierden su capacidad de percibir la realidad con precisión, requiere atención inmediata. Para prevenir el colapso del modelo y garantizar la integridad de los modelos de IA, es esencial mantener el acceso a la fuente original de datos generados por humanos o la capacidad de diferenciar entre contenido generado por máquinas y contenido producido por humanos.