Les acteurs malveillants exploitent ChatGPT via des injections d'invites : une préoccupation croissante en cybersécurité

À l'approche du premier anniversaire de ChatGPT, le paysage de la cybersécurité continue d'évoluer. Les équipes de défense comme les acteurs malveillants explorent les nouvelles possibilités offertes par l'IA générative, notamment les grands modèles de langage (GML). Si les GML ont le potentiel de rééquilibrer les chances pour les analystes en cybersécurité, la manière dont les acteurs malveillants peuvent exploiter ces technologies à leur avantage suscite des inquiétudes croissantes. Cet article met en lumière une préoccupation majeure au sein de la communauté de la cybersécurité : l'utilisation d'injections de prompts pour manipuler ChatGPT et d'autres outils d'IA générative, ce qui peut entraîner des violations de données et des attaques d'ingénierie sociale.

Le paysage des attaques en expansion

Les outils d'IA générative, tels que ChatGPT, ont considérablement élargi le champ des attaques en cybersécurité. Leur polyvalence et leur accessibilité ont créé de nouvelles opportunités de fuites de donnéesdentet d'exploitation malveillante par les acteurs malveillants. Contrairement aux systèmes de sécurité traditionnels, l'IA générative repose sur les données fournies par les utilisateurs, ce qui introduit un niveau d'imprévisibilité et de vulnérabilité accru. Les acteurs malveillants exploitent ces vulnérabilités et considèrent des outils comme ChatGPT comme un moyen de concevoir des attaques d'ingénierie sociale plus convaincantes et ciblées.

Le pouvoir des injections rapides

L'une des tactiques employées par les acteurs malveillants pour manipuler ChatGPT consiste à injecter des messages trompeurs et manipulateurs dans une invite de commande, incitant ainsi l'IA à générer des réponses susceptibles de contourner les mesures de sécurité ou de produire des résultats malveillants. En substance, les injections de messages peuvent être comparées aux injections SQL dans le domaine de la cybersécurité, car elles consistent à manipuler le système en exploitant des directives en apparence normales.

GitHub explique que l'injection de prompts est « un type de faille de sécurité qui peut être exploitée pour contrôler le comportement d'une instance ChatGPT ». Cela signifie qu'une simple injection de prompts peut ordonner au LLM d'ignorer des instructions préprogrammées, d'effectuer des actions malveillantes ou de contourner les filtres pour générer des réponses incorrectes ou nuisibles.

Le risque pour les données sensibles

L'IA générative repose fortement sur des ensembles de données générés par les utilisateurs, et ces derniers fournissent souvent des informations de plus en plus sensibles afin d'obtenir des réponses spécifiques. Cette pratique peut, par inadvertance, compromettre la sécurité des données sensibles. Lorsque des acteurs malveillants utilisent des injections de requêtes, ils peuvent concevoir stratégiquement ces requêtes pour accéder à des informations sensibles, en employant des techniques d'ingénierie sociale pourtracdes données précieuses.

Des informations sensibles, telles que des stratégies confidentielles, des détails sur les produits ou des données clients, peuvent être compromises. Si une invite malveillante parvient à s'exécuter, des acteurs malveillants pourraient potentiellement accéder à ces informations. De plus, l'injection d'invites pourrait rediriger les utilisateurs vers des sites web malveillants ou exploiter des vulnérabilités au sein des systèmes.

Protéger vos données

Face à ces nouvelles menaces, il est impératif d'adopter les meilleures pratiques de sécurité lors de l'utilisation de modèles LLM comme ChatGPT. Voici quelques mesures à prendre en compte :

Soyez prudent avec les informations sensibles : évitez autant que possible de partager des données sensibles ou confidentielles dans les outils d’IA générative. Si l’accès à ces informations est indispensable à la réalisation d’une tâche, veillez à les anonymiser et à les présenter sous une forme générique afin de minimiser les risques.

Vérifiez avant de faire confiance : avant de vous conformer à une requête générée par une IA générative, faites preuve de diligence raisonnable pour en vérifier la légitimité. Qu’il s’agisse de répondre à un courriel ou de visiter un site web, assurez-vous toujours de l’authenticité du chemin emprunté.

Signalez toute activité suspecte : si une activité vous paraît suspecte ou inhabituelle, n’hésitez pas à contacter vos équipes informatiques et de sécurité. Un signalement rapide peut s’avérer crucial pour limiter les menaces potentielles.