Riesgos emergentes de privacidad en la IA: El desafío de la memorización en modelos de lenguaje
- El riesgo de memorización de la IA: Modelos como ChatGPT pueden recordar datos de entrenamiento, lo que genera preocupaciones sobre la privacidad.
- Un ataque de divergencia contra ChatGPT expone el potencial de filtración de datos sensibles.
- Los modelos de IA más grandes muestran una mayor tendencia a memorizar y filtrar información privada.
Un estudio pionero que involucró a investigadores de Google DeepMind, la Universidad de Washington, UC Berkeley y otros ha revelado un aspecto sorprendente de los modelos de lenguaje grandes como ChatGPT: su capacidad para recordar y replicar datos específicos en los que fueron entrenados. Este fenómeno, conocido como "memorización", plantea importantes preocupaciones sobre la privacidad, especialmente considerando que estos modelos suelen entrenarse con grandes volúmenes de datos textuales diversos, que pueden incluir información potencialmente sensible.
Comprensión de la memorización extraíble
El estudio, centrado en la "memorización extraíble", buscó determinar si entidades externas podían extraer datos aprendidos específicos de estos modelos sin conocimiento previo del conjunto de entrenamiento. Esta memorización no es solo una preocupación teórica; tiene implicaciones reales para la privacidad.
Metodología de investigación y hallazgos
Los investigadores emplearon una metodología novedosa, generando extensos tokens de diversos modelos y comparándolos con los conjuntos de datos de entrenamiento para identificar instancias de memorización directa. Desarrollaron un método único para ChatGPT, conocido como "ataque de divergencia", donde el modelo se le solicita que diga una palabra hasta que desvíe su respuesta hacia datos memorizados repetidamente. Sorprendentemente, los modelos, incluido ChatGPT, mostraron una memorización significativa, regurgitando fragmentos de datos de entrenamiento ante prompts específicos.
El ataque de divergencia y ChatGPT
Para ChatGPT, el ataque de divergencia resultó particularmente revelador. Los investigadores solicitaron al modelo que repitiera una palabra varias veces, lo que llevó a que se desviara de las respuestas estándar y emitiera datos memorizados. Este método fue práctico y preocupante por sus implicaciones de privacidad, ya que demostró la capacidad de extraer información potencialmente sensible.
El alarmante descubrimiento del estudio fue que los datos memorizados podrían incluir información personal, como direcciones de correo electrónico y números de teléfono. Utilizando tanto expresiones regulares (regex) como prompts de modelos de lenguaje, los investigadores evaluaron 15.000 generaciones en busca de subcadenas que se asemejaran a información de identificación personal (PII). Aproximadamente el 16,9% de las generaciones contenían PII memorizada, siendo el 85,8% PII real y no contenido alucinado.
Implicaciones para el diseño y uso de modelos de lenguaje
Estos hallazgos son significativos para el diseño y la aplicación de modelos de lenguaje. Las técnicas actuales, incluso las empleadas en ChatGPT, podrían no prevenir suficientemente la fuga de datos. El estudio subraya la necesidad de métodos más robustos de deduplicación de datos de entrenamiento y una comprensión más profunda de cómo la capacidad del modelo impacta la memorización.
El método central consistió en generar texto a partir de varios modelos y verificar estas salidas contra sus respectivos conjuntos de datos de entrenamiento en busca de memorización. Se utilizaron matrices de sufijos para una coincidencia eficiente, lo que permitió búsquedas rápidas de subcadenas dentro de un corpus de texto grande.
Modelos más extensos, mayores riesgos de memorización
Se observó una correlación notable entre el tamaño del modelo y su propensión a memorizar. Modelos más grandes como GPT-Neo, LLaMA y ChatGPT mostraron una mayor probabilidad de emitir datos de entrenamiento memorizados, lo que sugiere una relación directa entre la capacidad del modelo y la memorización.
El estudio ilumina un aspecto crucial del desarrollo de la IA: garantizar que los modelos potentes respeten la privacidad del usuario. Abre nuevas vías de investigación y desarrollo, centradas en mejorar las salvaguardas de privacidad en los modelos de IA, especialmente aquellos utilizados en aplicaciones sensibles a la privacidad.
A medida que la IA continúa evolucionando, este estudio arroja luz sobre un aspecto esencial de su desarrollo: la necesidad de mejorar las medidas de privacidad en los modelos de lenguaje. El descubrimiento de la capacidad de la IA para memorizar y potencialmente filtrar información sensible exige una acción inmediata en el campo, instando a desarrolladores e investigadores a crear modelos que no solo sean potentes, sino que también salvaguarden la privacidad del usuario. Esta investigación marca un paso significativo hacia la comprensión y mitigación de los riesgos de privacidad asociados con las tecnologías de IA y aprendizaje automático.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
John Palmer
John Murangiri llegó a Cryptopolitan con habilidades en análisis de mercado. John (también conocido como JP) se graduó de la Universidad de Nairobi con un título de licenciatura en comunicación masiva y estudios de medios. Anteriormente, ha contribuido con perspectivas del mercado de criptomonedas a InsideBitcoins.com y Metacoingraph.
