Por qué los investigadores de la Universidad Carnegie Mellon engañaron a ChatGPT para generar información dañina

Investigadores de la Universidad Carnegie Mellon y del Centro para la Seguridad de la I.A. han descubierto una falla de seguridad significativa en chatbots de uso generalizado, incluidos ChatGPT, Claude y Google Bard. A pesar de los esfuerzos de las empresas de IA para implementar medidas de seguridad, los investigadores encontraron un método para eludir estas barreras y hacer que los chatbots generaran información dañina. Las implicaciones de este descubrimiento han generado preocupaciones sobre el potencial de estos chatbots para inundar internet con contenido falso y peligroso.

Una preocupación creciente

Las empresas de inteligencia artificial pasan meses agregando barreras de seguridad a sus chatbots para prevenir discurso de odio, desinformación y material tóxico. Sin embargo, los investigadores han demostrado ahora que estas medidas de seguridad pueden ser eludidas fácilmente, lo que lleva a un aumento en la generación de información dañina.

Utilizando una técnica aprendida de sistemas de I.A. de código abierto, los investigadores pudieron dirigirse a los sistemas estrictamente controlados y de amplio uso de grandes empresas como Google, OpenAI y Anthropic. Al agregar un sufijo largo de caracteres a prompts específicos en inglés, los chatbots podían ser engañados para proporcionar información dañina a pesar de negarse a hacerlo sin el sufijo. Esta técnica permite a los atacantes coaccionar a los chatbots para generar contenido sesgado, falso y tóxico.

Implicaciones para la industria

Los hallazgos de esta investigación destacan la naturaleza frágil de los mecanismos de defensa actuales en los chatbots de IA. Incluso los sistemas de código cerrado como ChatGPT y Google Bard resultaron vulnerables a este ataque, lo que indica una necesidad urgente de salvaguardas más sólidas. Si bien las empresas afectadas han sido informadas de los ataques específicos, los expertos enfatizan que actualmente no existe una forma conocida de prevenir todos estos ataques, lo que hace que la situación sea altamente desafiante.

La decisión de Meta de ofrecer su tecnología como software de código abierto ha generado críticas y ha sparked un debate más amplio sobre si los modelos de código abierto o privados son más beneficiosos. Los defensores argumentan que los modelos de código abierto permiten la resolución colectiva de problemas y fomentan una competencia saludable, mientras que otros temen que esto pueda llevar a la propagación de una I.A. poderosa y sin control.

Falta de soluciones evidentes

Los expertos en seguridad han estado intentando prevenir ataques similares en sistemas de reconocimiento de imágenes durante casi una década, pero con éxito limitado. Los mismos desafíos se enfrentan ahora con los chatbots, ya que no hay una solución aparente infalible para prevenir todos los posibles ataques de este tipo.

Empresas como Anthropic, OpenAI y Google están trabajando para encontrar formas de frustrar estos ataques y mejorar la robustez de sus modelos frente al comportamiento adversarial. Sin embargo, dada la complejidad del problema, sigue siendo incierto si todo el mal uso de la tecnología de chatbots puede ser prevenido sistemáticamente.

El descubrimiento de vulnerabilidades en chatbots de uso generalizado plantea serias preocupaciones sobre el posible mal uso de la tecnología de IA. La industria de la IA debe tomar medidas decisivas para fortalecer las barreras de seguridad y mejorar las medidas de seguridad para prevenir la propagación de información dañina. Si bien los modelos de código abierto tienen sus ventajas, este incidente destaca la necesidad de un enfoque equilibrado para garantizar el despliegue responsable y seguro de la IA en aplicaciones dirigidas al público.