Explorando el papel de ChatGPT en la creación automatizada de malware

A medida que las tecnologías de inteligencia artificial (IA), incluido ChatGPT, se vuelven más prevalentes, han crecido las preocupaciones sobre su posible mal uso en actividades delictivas cibernéticas. Este blog profundiza en la efectividad de las medidas de seguridad de ChatGPT, el riesgo de mal uso de la IA por parte de actores maliciosos y las limitaciones de los modelos de IA actuales.

ChatGPT, un modelo de lenguaje avanzado desarrollado por OpenAI, ganó una adopción generalizada a un ritmo rápido. Sin embargo, esta popularidad generó preocupaciones sobre su posible mal uso, particularmente en la creación de malware y otro software dañino. Para abordar estas preocupaciones, OpenAI implementó filtros de seguridad diseñados para detectar y prevenir el uso malicioso de ChatGPT.

Probando el potencial de codificación de malware de ChatGPT

CyberArk, en un estudio reciente, probó la capacidad de ChatGPT para crear malware mientras evitaba la detección y eludía políticas. Exploraron las limitaciones de los filtros de seguridad de ChatGPT y encontraron que con prompts específicos, el modelo podía generar fragmentos de código relacionados con el desarrollo de malware.

Para fines de prueba, se proporcionó al modelo prompts basados en tácticas, técnicas y procedimientos (TTP) del marco MITRE ATT&CK, un recurso valioso para comprender los riesgos potenciales asociados con las tecnologías de IA. Estos prompts tenían como objetivo generar fragmentos de código para tareas específicas relacionadas con el desarrollo de malware.

Aunque el modelo podía generar código basado en prompts, eran necesarios ciertos contornos. Por ejemplo, el modelo podría negarse a generar código si un prompt mencionaba directamente un programa malicioso. Sin embargo, ajustando el prompt, los atacantes podían obtener el resultado deseado.

Además, ChatGPT demostró la capacidad de aprender y adaptarse a las preferencias de los usuarios con el tiempo. Por ejemplo, aprendió que los usuarios preferían guardar información en un archivo de texto e incorporó esto en prompts posteriores.

Limitaciones de ChatGPT en la generación automatizada de malware

A pesar de sus capacidades, ChatGPT tiene limitaciones cuando se trata de creación automatizada de malware:

1. Se requiere modificación del código

Todos los fragmentos de código generados por ChatGPT necesitaban modificaciones para funcionar correctamente. Estas modificaciones variaban desde cambios menores, como renombrar rutas y URLs, hasta ediciones sustanciales que involucraban la lógica del código y corrección de errores.

2. Tasa de éxito

Aproximadamente el 48% de los fragmentos de código probados no lograron entregar la salida solicitada. Solo el 42% tuvo un éxito total y el 10% un éxito parcial. Esto resalta las limitaciones actuales del modelo para interpretar y ejecutar con precisión solicitudes de codificación complejas.

3. Tasa de error

Del total de códigos probados, el 43% contenía errores, incluso en fragmentos que entregaron con éxito la salida deseada. Esto sugiere posibles problemas en las capacidades de manejo de errores o en la lógica de generación de código del modelo.

4. Desglose de técnicas MITRE

Las tasas de éxito variaron según la técnica MITRE utilizada en la solicitud. Las técnicas de descubrimiento tuvieron una tasa de éxito del 77%, mientras que las técnicas de evasión de defensa tuvieron una tasa de éxito más baja del 20%. Esta discrepancia puede deberse a la complejidad de ciertas técnicas o a los datos de entrenamiento del modelo.

5. Alucinación y salida truncada

ChatGPT es susceptible de generar información inexacta, conocida como alucinación, lo cual puede resultar frustrante para los usuarios. Además, puede producir código incompleto o truncado, volviéndolo infuncional.

6. Falta de control sobre ciertas variables

ChatGPT no puede generar rutas personalizadas, nombres de archivos, direcciones IP o detalles de comando y control (C&C), lo que limita el control del usuario sobre estas variables. Especificarlas en las solicitudes es posible, pero no es escalable para aplicaciones complejas.

7. Ofuscación y cifrado limitados

Si bien ChatGPT puede realizar una ofuscación básica, la ofuscación intensiva y el cifrado de código son desafiantes para estos modelos. Las técnicas personalizadas pueden ser difíciles de entender e implementar para ChatGPT, y la ofuscación que genera puede no ser lo suficientemente fuerte para evadir la detección.

Equilibrando el potencial y los riesgos

Si bien ChatGPT y modelos de IA similares tienen potencial en la generación de código, es esencial reconocer sus limitaciones. Pueden simplificar los pasos iniciales de codificación, especialmente para aquellos familiarizados con el proceso de creación de malware. Sin embargo, la automatización total sin una ingeniería de prompts significativa, manejo de errores, ajuste fino del modelo y supervisión humana aún no es viable.

La adaptabilidad de ChatGPT a las preferencias del usuario es prometedora, mejorando la eficiencia en la generación de código. No obstante, la supervisión humana sigue siendo crucial. Estos modelos pueden facilitar la creación de un gran conjunto de fragmentos de código para diferentes familias de malware, potencialmente mejorando las capacidades de evasión, pero las limitaciones actuales brindan cierta tranquilidad de que el mal uso aún no es totalmente viable.

A medida que las tecnologías de IA evolucionan, es crucial mantener un fuerte enfoque en la seguridad y el uso ético. Si bien ChatGPT muestra promesa, especialmente en la generación de código, no es una solución totalmente automatizada para la creación de malware. Equilibrar el aprovechamiento del potencial de la IA y la mitigación de sus riesgos es esencial para asegurar que estas herramientas sirvan como activos en lugar de instrumentos de daño.