La IA Tóxica es una Realidad y Recibe Recompensas por ser Provocativa 

Los modelos de lenguaje grandes (LLM) se están convirtiendo en parte de casi todas las industrias. El desarrollo de LLM para aplicaciones de lenguaje natural tiene muchas etapas. Una de ellas es asegurarse de que los LLM no produzcan respuestas peligrosas o contenido tóxico. Para resolver este problema, los desarrolladores utilizan un equipo rojo humano, que es esencialmente un grupo de personas que generan prompts que hacen que los LLM emitan salidas peligrosas. 

El problema con el uso de un equipo rojo humano es que reclutarlos es costoso y consumen mucho tiempo. Es por eso que los investigadores del MIT descubrieron un nuevo método para probar aplicaciones de LLM de lenguaje natural utilizando otro LLM. Este enfoque se denomina prueba de penetración impulsada por la curiosidad (CRT) y utiliza el aprendizaje automático como base. La investigación se publicó como un artículo de conferencia en ICLR 2024 y está disponible en línea.

La prueba de penetración impulsada por la curiosidad (CRT) es mejor

Al principio, el enfoque de automatizar el trabajo del equipo rojo humano se realizó mediante la creación de un modelo de equipo rojo y su entrenamiento utilizando aprendizaje por refuerzo (RL). Después de probar el modelo del equipo rojo, el resultado fue exitoso pero con un bajo número de resultados efectivos. 

Esto significa que el LLM objetivo no se evaluará con precisión, ya que no se incluyen muchos prompts que pueden producir una salida tóxica. La razón detrás de tener un bajo número de resultados efectivos es porque el modelo del equipo rojo está entrenado para producir resultados altamente tóxicos y similares. El sistema de recompensas califica los prompts provocativos según su efectividad o toxicidad. No hay incentivo para considerar cada posible prompt que activará el LLM objetivo. 

Usar la prueba de penetración impulsada por la curiosidad (CRT), por otro lado, es más poderoso. CRT produce una gran cantidad de prompts capaces de provocar modelos altamente inteligentes. Esto se debe a que CRT se centra en las consecuencias de cada prompt. Su objetivo es utilizar diferentes palabras y oraciones, lo que resulta en una cobertura más amplia de la salida tóxica. El sistema de recompensas en el modelo de aprendizaje por refuerzo se centra en la similitud de las palabras, mientras que el modelo CRT recibe recompensas por evitar similitudes y usar diferentes palabras y patrones. 

Pruebas en LLaMA2 para detectar contenido tóxico

Los investigadores aplicaron la prueba de penetración impulsada por la curiosidad (CRT) en LLaMA2, un modelo de LLM de código abierto. CRT logró generar 196 prompts que produjeron contenido tóxico a partir del modelo de código abierto. LLaMA2 está ajustado por expertos humanos para evitar la producción de contenido dañino. Los investigadores realizaron este experimento utilizando GPT2, que se considera un modelo pequeño con 137 millones de parámetros. El equipo concluyó que CRT podría ser un componente crítico para automatizar el trabajo de prueba de penetración. El código de CRT está disponible en github.

«Estamos viendo un aumento de modelos, lo cual solo se espera que aumente. Imagina miles de modelos o incluso más y empresas/laboratorios que actualizan los modelos con frecuencia. Estos modelos se convertirán en una parte integral de nuestras vidas y es importante que sean verificados antes de ser lanzados al consumo público. La verificación manual de los modelos simplemente no es escalable, y nuestro trabajo es un intento de reducir el esfuerzo humano para garantizar un futuro de IA más seguro y confiable», dice Agrawal.  

El futuro de la creación de modelos LLM seguros se ve prometedor. Con la investigación continua, el objetivo de crear LLM seguros para cualquier propósito podría lograrse de manera eficiente. Los investigadores detrás de este artículo publicaron otro trabajo relacionado en áreas como la prueba de penetración automatizada y los ataques adversarios en modelos de lenguaje.