Un estudio pionero en el que participaron investigadores de Google DeepMind, la Universidad de Washington, la Universidad de California en Berkeley y otras entidades ha revelado un aspecto sorprendente de los grandes modelos de lenguaje como ChatGPT: su capacidad para recordar y replicar datos específicos con los que fueron entrenados. Este fenómeno, conocido como "memorización", plantea importantes problemas de privacidad, sobre todo teniendo en cuenta que estos modelos suelen entrenarse con datos de texto extensos y diversos, que incluyen información potencialmente sensible.
Comprender la memorización de tablas detrac
El estudio, centrado en la memorización de tablastrac, buscó determinar si entidades externas podíantracdatos específicos aprendidos de estos modelos sin conocimiento previo del conjunto de entrenamiento. Esta memorización no es solo una preocupación teórica; tiene implicaciones reales para la privacidad.
Metodología y hallazgos de la investigación
Los investigadores emplearon una metodología novedosa: generaron numerosos tokens de varios modelos y los compararon con los conjuntos de datos de entrenamiento paradentcasos de memorización directa. Desarrollaron un método único para ChatGPT, conocido como "ataque de divergencia", en el que se le pide al modelo que diga una palabra hasta que se desvíe a los datos memorizados repetidamente. Sorprendentemente, los modelos, incluido ChatGPT, mostraron una memorización significativa, regurgitando fragmentos de datos de entrenamiento ante una indicación específica.
El ataque de divergencia y ChatGPT
Para ChatGPT, el ataque de divergencia resultó particularmente revelador. Los investigadores instaron al modelo a repetir una palabra varias veces, lo que provocó que se desviara de las respuestas estándar y emitiera datos memorizados. Este método resultó práctico y preocupante por sus implicaciones para la privacidad, ya que demostró la capacidad detracinformación potencialmente sensible.
El alarmante descubrimiento del estudio fue que los datos memorizados podían incluir información personal como direcciones de correo electrónico y números de teléfono. Utilizando expresiones regulares y ejemplos de modelos de lenguaje, los investigadores evaluaron 15 000 generaciones en busca de subcadenas que se asemejaran a información dedentpersonal (IIP). Aproximadamente el 16,9 % de las generaciones contenía IIP memorizada, y el 85,8 % era IIP real, no contenido alucinado.
Implicaciones para el diseño y uso de modelos lingüísticos
Estos hallazgos son significativos para el diseño y la aplicación de modelos lingüísticos. Las técnicas actuales, incluso las empleadas en ChatGPT, podrían no ser suficientes para prevenir la fuga de datos. El estudio subraya la necesidad de métodos más robustos de deduplicación de datos de entrenamiento y una comprensión más profunda de cómo la capacidad del modelo afecta la memorización.
El método principal consistió en generar texto a partir de varios modelos y comparar estos resultados con los conjuntos de datos de entrenamiento de cada modelo para su memorización. Se utilizaron matrices de sufijos para una correspondencia eficiente, lo que permitió búsquedas rápidas de subcadenas dentro de un amplio corpus de texto.
Modelos más amplios, mayores riesgos de memorización
Se observó una correlación notable entre el tamaño del modelo y su propensión a la memorización. Modelos más grandes, como GPT-Neo, LLaMA y ChatGPT, mostraron una mayor probabilidad de emitir datos de entrenamiento memorizados, lo que sugiere una relación directa entre la capacidad del modelo y la memorización.
El estudio destaca un aspecto crucial del desarrollo de la IA: garantizar que los modelos potentes respeten la privacidad del usuario. Abre nuevas vías para la investigación y el desarrollo, centrándose en mejorar las garantías de privacidad en los modelos de IA, especialmente en aquellos utilizados en aplicaciones que la protegen.
A medida que la IA continúa evolucionando, este estudio arroja luz sobre un aspecto esencial de su desarrollo: la necesidad de mejorar las medidas de privacidad en los modelos lingüísticos. El descubrimiento de la capacidad de la IA para memorizar y potencialmente filtrar información confidencial exige una acción inmediata en este campo, instando a desarrolladores e investigadores a crear modelos que no solo sean potentes, sino que también protejan la privacidad del usuario. Esta investigación supone un paso significativo hacia la comprensión y la mitigación de los riesgos para la privacidad asociados a la IA y las tecnologías de aprendizaje automático.
