El chatbot GPT-4 demuele al AI-Guardian del clasificador de imágenes en un experimento de investigación

Un científico de Google ha demostrado cómo el modelo de lenguaje grande (LLM) GPT-4 de OpenAI puede ser utilizado como asistente de investigación para eludir AI-Guardian, una defensa contra ataques adversarios en modelos de aprendizaje automático. Nicholas Carlini, científico de investigación de Deep Mind de Google, revela en su artículo titulado “A LLM Assisted Exploitation of AI-Guardian” cómo GPT-4 fue dirigido para idear un método de ataque que superó las salvaguardas de AI-Guardian. El experimento muestra el valor potencial de los chatbots en el avance de la investigación de seguridad y destaca el impacto de modelos de lenguaje poderosos como GPT-4 en el futuro de la ciberseguridad.

GPT-4 vs. AI-Guardian

La investigación de Carlini explora cómo GPT-4, el modelo de lenguaje grande de OpenAI, fue utilizado para desarrollar una estrategia de ataque contra AI-Guardian. En su diseño inicial, AI-Guardian fue desarrollado para prevenir ataques adversarios identificando y bloqueando entradas que contenían artefactos sospechosos. Pero, el artículo de Carlini demuestra que GPT-4, cuando se dirige a través de prompts, puede superar las defensas de AI-Guardian generando scripts y explicaciones para ajustes de imágenes que engañan a un clasificador sin activar el mecanismo de detección de AI-Guardian.

El artículo de Carlini incluye código Python sugerido por GPT-4, lo que permite explotar las vulnerabilidades de AI-Guardian. Como resultado, la robustez de AI-Guardian se reduce del 98 % a un mero 8 % bajo el modelo de amenaza investigado por la investigación original de AI-Guardian. Los autores de AI-Guardian reconocen el éxito del ataque de Carlini para eludir su defensa.

Basándose en las observaciones de Carlini, los hallazgos de la investigación revelan la capacidad de GPT-4 para superar las salvaguardas de AI-Guardian, lo que resulta en una disminución sustancial de su efectividad general. Esta demostración convincente acentúa las posibles ramificaciones de los chatbots de IA como colaboradores influyentes en el dominio de la investigación de seguridad.

GPT-4 como coautor y colaborador

La colaboración entre GPT-4 y la entrada humana muestra las fortalezas y limitaciones únicas de los modelos de lenguaje de IA para ayudar a los investigadores humanos. El vasto conocimiento de GPT-4 de artículos de investigación publicados permite la generación rápida de código, simplificando la implementación de tareas de codificación cuando se guía adecuadamente. Su destreza en la composición de textos explicativos sin intervención humana excesiva presenta perspectivas emocionantes para acelerar los procesos de investigación.

Carlini reconoce que las capacidades de GPT-4 no eliminan la necesidad de colaboradores humanos. Los expertos en la materia siguen desempeñando un papel crucial al formular las preguntas adecuadas y abordar cualquier problema relacionado con el código. Además, el conocimiento de GPT-4 es estático, se limita a sus datos de entrenamiento y carece de la capacidad de aprender o establecer conexiones novedosas entre temas. A pesar de estas limitaciones, Carlini prevé un futuro en el que modelos de lenguaje más sofisticados faciliten aún más la investigación y permitan a los informáticos centrarse en preguntas de investigación más complejas.

Según las reflexiones de Carlini, la participación de GPT-4 en esta investigación destaca su potencial como una herramienta eficiente para ahorrar tiempo en tareas de codificación. Además, a medida que los modelos de lenguaje avancen, podrían ganar mayor autonomía para comprender y detectar defensas de seguridad, lo que potencialmente agilizaría el proceso de evaluación de vulnerabilidades y parcheo.

La investigación en seguridad de IA en evolución

El experimento realizado por Nicholas Carlini usando GPT-4 para derrotar a AI-Guardian marca un hito significativo en la acción de IA sobre IA. Demuestra cómo los modelos de lenguaje pueden ser aprovechados como asistentes de investigación para descubrir vulnerabilidades y mejorar las medidas de ciberseguridad. Si bien las capacidades de GPT-4 ofrecen perspectivas prometedoras para el futuro de la investigación de seguridad, también enfatizan la importancia de la experiencia humana y los esfuerzos colaborativos. A medida que los modelos de lenguaje de IA continúan evolucionando, tienen el potencial de revolucionar el campo de la ciberseguridad e inspirar enfoques innovadores para defenderse de ataques adversarios.