Explorer le rôle de ChatGPT dans la création automatisée de logiciels malveillants

À mesure que les technologies d'intelligence artificielle (IA), y compris ChatGPT, deviennent plus répandues, les préoccupations concernant leur potentiel détournement dans les activités criminelles informatiques ont augmenté. Ce blog explore l'efficacité des mesures de sécurité de ChatGPT, le risque de détournement de l'IA par des acteurs malveillants et les limites des modèles d'IA actuels.

ChatGPT, un modèle de langage avancé développé par OpenAI, a connu une adoption massive à un rythme rapide. Cependant, cette popularité a soulevé des inquiétudes quant à son potentiel détournement, en particulier dans la création de logiciels malveillants et d'autres logiciels nuisibles. Pour répondre à ces préoccupations, OpenAI a mis en œuvre des filtres de sécurité conçus pour détecter et empêcher l'utilisation malveillante de ChatGPT.

Tester le potentiel de codage de logiciels malveillants de ChatGPT

CyberArk, dans une étude récente, a testé la capacité de ChatGPT à créer des logiciels malveillants tout en évitant la détection et en contournant les politiques. Ils ont exploré les limites des filtres de sécurité de ChatGPT et ont constaté qu'avec des invites spécifiques, le modèle pouvait générer des extraits de code liés au développement de logiciels malveillants.

À des fins de test, le modèle a reçu des invites basées sur les tactiques, techniques et procédures (TTP) du cadre MITRE ATT&CK, une ressource précieuse pour comprendre les risques potentiels associés aux technologies d'IA. Ces invites visaient à générer des extraits de code pour des tâches spécifiques liées au développement de logiciels malveillants.

Bien que le modèle puisse générer du code basé sur des invites, certaines solutions de contournement étaient nécessaires. Par exemple, le modèle pourrait refuser de générer du code si une invite mentionnait directement un programme malveillant. Cependant, en modifiant l'invite, les attaquants pouvaient obtenir le résultat souhaité.

De plus, ChatGPT a démontré la capacité d'apprendre et de s'adapter aux préférences des utilisateurs au fil du temps. Par exemple, il a appris que les utilisateurs préféraient enregistrer des informations dans un fichier texte et a intégré cela dans les invites suivantes.

Limites de ChatGPT dans la génération automatisée de malwares

Malgré ses capacités, ChatGPT présente des limitations en matière de création automatisée de malwares :

1. Modification du code requise

Tous les extraits de code générés par ChatGPT ont nécessité des modifications pour fonctionner correctement. Ces modifications variaient de changements mineurs, tels que le renommage de chemins et d'URL, à des éditions substantielles impliquant la logique du code et la correction de bugs.

2. Taux de réussite

Environ 48 % des extraits de code testés n'ont pas fourni le résultat demandé. Seuls 42 % ont réussi pleinement, et 10 % ont partiellement réussi. Cela met en lumière les limitations actuelles du modèle dans l'interprétation et l'exécution précises de demandes de codage complexes.

3. Taux d'erreur

Parmi tous les codes testés, 43 % contenaient des erreurs, même dans les extraits de code qui ont livré avec succès le résultat souhaité. Cela suggère des problèmes potentiels dans les capacités de gestion des erreurs ou la logique de génération de code du modèle.

4. Décomposition des techniques MITRE

Les taux de réussite variaient selon la technique MITRE utilisée dans la demande. Les techniques de découverte avaient un taux de réussite de 77 %, tandis que les techniques d'évitement de la défense avaient un taux de réussite plus faible de 20 %. Cet écart peut résulter de la complexité de certaines techniques ou des données d'entraînement du modèle.

5. Hallucination et sortie tronquée

ChatGPT est susceptible de générer des informations inexactes, connues sous le nom d'hallucination, ce qui peut être frustrant pour les utilisateurs. De plus, il peut produire du code incomplet ou tronqué, le rendant non fonctionnel.

6. Manque de contrôle sur certaines variables

ChatGPT ne peut pas générer de chemins personnalisés, de noms de fichiers, d'adresses IP ou de détails de commande et de contrôle (C&C), limitant le contrôle de l'utilisateur sur ces variables. Leur spécification dans les invites est possible mais pas évolutive pour des applications complexes.

7. Obfuscation et chiffrement limités

Bien que ChatGPT puisse effectuer une obfuscation de base, une obfuscation lourde et le chiffrement du code sont difficiles pour ces modèles. Les techniques personnalisées peuvent être difficiles à comprendre et à mettre en œuvre pour ChatGPT, et l'obfuscation qu'il génère peut ne pas être suffisamment robuste pour échapper à la détection.

Équilibrer le potentiel et les écueils

Bien que ChatGPT et des modèles d'IA similaires aient un potentiel dans la génération de code, il est essentiel de reconnaître leurs limites. Ils peuvent simplifier les étapes initiales de codage, en particulier pour ceux qui sont familiers avec le processus de création de malwares. Cependant, une automatisation complète sans ingénierie de prompt significative, gestion des erreurs, affinement du modèle et supervision humaine n'est pas encore réalisable.

L'adaptabilité de ChatGPT aux préférences des utilisateurs est prometteuse, améliorant l'efficacité de la génération de code. Néanmoins, la supervision humaine reste cruciale. Ces modèles peuvent faciliter la création d'un grand pool d'extraits de code pour différentes familles de malwares, potentiellement améliorant les capacités d'évitement, mais les limites actuelles apportent une certaine réassurance que la mauvaise utilisation n'est pas encore entièrement réalisable.

À mesure que les technologies IA évoluent, il est crucial de maintenir un fort accent sur la sécurité et l'utilisation éthique. Bien que ChatGPT montre des promesses, en particulier dans la génération de code, il ne s'agit pas d'une solution entièrement automatisée pour la création de malwares. Trouver un équilibre entre l'exploitation du potentiel de l'IA et l'atténuation de ses écueils est essentiel pour garantir que ces outils servent d'atouts plutôt que d'instruments de préjudice.