Investigadores vinculados a las universidades de Oxford, Cambridge, Imperial College London y Toronto, así como al Vector Institute, publicaron en el artículo AI models collapse when trained on recursively generated data (Los modelos de IA colapsan cuando se entrenan con datos generados de forma recursiva).
Los grandes modelos de lenguaje (LLM) se entrenaron, principalmente, con textos elaborados por humanos. A medida que Internet se llena de contenido producido por sistemas de IA, esa situación está cambiando. La investigación analiza qué puede ocurrir si una parte significativa de los datos empleados para entrenar futuros modelos procede de textos generados por versiones anteriores de esos mismos modelos, en vez de contenido humano original.
Metodología
Los investigadores entrenaron modelos generativos de manera recursiva: cada nueva generación aprendía únicamente a partir de los contenidos generados por la generación anterior, es decir, un modelo se entrenaba con datos creados por su predecesor, y el siguiente con las respuestas producidas por ese nuevo modelo.
El resultado fue un proceso de degradación progresiva, denominado “colapso del modelo”. A medida que los datos sintéticos se reutilizan como material de entrenamiento, el modelo conserva una representación cada vez menos fiel y menos diversa de los datos originales.
Los autores identifican tres fuentes principales de error que pueden acumularse de una generación a otra:
- Error por falta de datos suficientes: cada generación se entrena con un número limitado de ejemplos. Por ello, los casos poco frecuentes pueden aparecer demasiado poco o desaparecer por completo del conjunto de datos. Con cada repetición, esa información minoritaria corre el riesgo de perderse.
- Error derivado de las limitaciones del modelo: ninguna red neuronal puede reproducir perfectamente toda la complejidad de los datos originales. Como consecuencia, el modelo puede dar demasiada importancia a patrones que no reflejan la realidad o, por el contrario, restar importancia a otros que sí resultaban relevantes.
- Error introducido durante el entrenamiento: el proceso de entrenamiento tampoco es perfecto. Las técnicas empleadas para optimizar el modelo pueden incorporar sesgos, simplificaciones o desviaciones adicionales.
Estos errores no suelen compensarse entre sí, más bien al contrario, tienden a acumularse: cada generación aprende a partir de una versión algo más simplificada y deteriorada de los datos, que pasa a convertirse en la base de la siguiente.
El artículo incluye un ejemplo especialmente ilustrativo. Partiendo de un texto real sobre arquitectura gótica inglesa, las primeras generaciones todavía producen textos coherentes sobre iglesias históricas. Sin embargo, hacia la quinta generación el contenido empieza a desviarse y deja de guardar una relación clara con el tema inicial. En la novena generación, el modelo termina generando una enumeración incongruente de supuestas variedades de liebres de cola negra, blanca, azul, roja y amarilla.
Los investigadores observaron una posible medida de mitigación: si se conserva una proporción de datos humanos reales en cada generación, el deterioro disminuye de forma significativa. En sus experimentos, mantener aproximadamente un 10 % de datos humanos reducía notablemente el problema.
Conclusión
El reto para que los modelos de IA sean confiables no consiste solo en disponer de más datos, sino en conservar datos humanos, diversos, fiables y correctamente identificados.
