Los modelos de IA escupen ‘sin sentido’ cuando se entrenan con datos generados por IA

Los modelos de lenguaje grandes (LLM) entrenados con iteraciones anteriores de material generado por IA producen salidas que carecen de sustancia y matices, ha encontrado un nuevo estudio. Los hallazgos presentan un nuevo desafío para los desarrolladores de IA, que dependen de conjuntos de datos limitados generados por humanos para el contenido.

También lea: Los deepfakes de IA están dificultando que las autoridades de EE. UU. protejan a los niños, según un informe

Investigadores de inteligencia artificial de la Universidad de Cambridge y la Universidad de Oxford en el Reino Unido intentaron escribir prompts basándose en un conjunto de datos compuesto únicamente por contenido generado por IA. El resultado no fue ideal, ya que produjo respuestas incomprensibles.

La IA aún necesita humanos para dar sentido

Uno de los autores del artículo, Zhakar Shumaylov de la Universidad de Cambridge dijo que existe una necesidad de control de calidad en los datos que alimentan a los LLM, la tecnología detrás de los chatbots de IA generativa como ChatGPT y Gemini de Google. Shumaylov dijo:

“El mensaje es que debemos tener mucho cuidado con lo que termina en nuestros datos de entrenamiento. [De lo contrario,] las cosas siempre, demostrablemente, saldrán mal”.

El fenómeno se conoce como “colapso del modelo”, detalló Shumaylov. Se ha demostrado que afecta a todo tipo de modelos de inteligencia artificial, incluidos aquellos que se especializan en la generación de imágenes mediante prompts de texto.

Según el estudio, los prompts de texto repetitivos utilizando datos generados por IA en un modelo terminaron generando sin sentido. Por ejemplo, los investigadores encontraron que un sistema probado con texto sobre las torres medievales de la Iglesia del Reino Unido produjo una lista repetitiva de liebres después de solo nueve generaciones.

Comentando sobre las salidas, el científico informático de la Universidad de California, Hany Farid, comparó el colapso de los datos con los desafíos endémicos de la endogamia en los animales.

“Si una especie se reproduce con su propia descendencia y no diversifica su acervo genético, puede llevar al colapso de la especie”, dijo Farid.

Cuando los investigadores infundieron datos generados por humanos en los datos de IA, el colapso ocurrió más lentamente que cuando se ejecutaba únicamente con contenido generado por IA.

Investigadores: La IA podría empeorar los sesgos contra los grupos minoritarios

Los modelos de lenguaje funcionan construyendo asociaciones entre tokens —palabras o partes de palabras— en enormes extensiones de texto, a menudo extraídas de Internet. Generan texto emitiendo la siguiente palabra estadísticamente más probable, basándose en estos patrones aprendidos.

También lea: El oso de peluche impulsado por ChatGPT Poe lee cuentos de buenas noches a los niños

El estudio, publicado en la revista Nature el 24 de julio, mostró que la información mencionada pocas veces en los conjuntos de datos es probable que no se repita. Los investigadores temen que esto pueda afectar negativamente a los grupos minoritarios ya marginados.

Para evitar el colapso del modelo en casos de uso reales, el estudio sugirió marcar con agua el contenido generado por IA y el contenido generado por humanos. Pero esto también podría ser problemático debido a la falta de coordinación entre las empresas de IA rivales, dijo.

Los hallazgos del estudio llegan en un momento en que hay un mayor debate sobre si la IA resultará en la exclusión total de los humanos en la creación de contenido, incluida la escritura de novelas y artículos de periódicos.

Titulada ‘Los modelos de IA colapsan cuando se entrenan con datos generados recursivamente’, los resultados del estudio ponen fin a ese debate: los humanos aún no están siendo eliminados de la ecuación.