Pourquoi des chercheurs de l'université Carnegie Mellon ont-ils trompé ChatGPT pour qu'il génère des informations nuisibles

Des chercheurs de l'Université Carnegie Mellon et du Center for A.I. Safety ont découvert une faille de sécurité majeure dans des chatbots largement utilisés, notamment ChatGPT, Claude et Google Bard. Malgré les efforts des entreprises d'IA pour mettre en œuvre des mesures de sécurité, les chercheurs ont trouvé un moyen de contourner ces garde-fous et de pousser les chatbots à générer des informations nuisibles. Les implications de cette découverte ont suscité des inquiétudes quant au potentiel de ces chatbots à inonder Internet de contenu faux et dangereux.

Une préoccupation grandissante

Les entreprises d'intelligence artificielle passent des mois à ajouter des garde-fous de sécurité à leurs chatbots pour prévenir la haine, la désinformation et les contenus toxiques. Cependant, des chercheurs ont désormais démontré que ces mesures de sécurité peuvent être facilement contournées, entraînant une augmentation de la génération d'informations nuisibles.

En utilisant une technique apprise à partir de systèmes d'IA open source, les chercheurs ont pu cibler les systèmes étroitement contrôlés et largement utilisés de grandes entreprises comme Google, OpenAI et Anthropic. En ajoutant un long suffixe de caractères à des invites en anglais spécifiques, les chatbots pouvaient être trompés pour fournir des informations nuisibles, malgré leur refus de le faire sans le suffixe. Cette technique permet aux attaquants de contraindre les chatbots à générer du contenu biaisé, faux et toxique.

Implications pour l'industrie

Les résultats de cette recherche mettent en évidence la nature fragile des mécanismes de défense actuels dans les chatbots IA. Même les systèmes propriétaires comme ChatGPT et Google Bard se sont révélés vulnérables à cette attaque, indiquant un besoin urgent de garde-fous plus solides. Bien que les entreprises concernées aient été informées des attaques spécifiques, les experts soulignent qu'il n'existe actuellement aucun moyen connu d'empêcher toutes ces attaques, rendant la situation très difficile.

La décision de Meta de proposer sa technologie en tant que logiciel open source a suscité des critiques et déclenché un débat plus large sur la question de savoir si les modèles open source ou privés sont plus bénéfiques. Les partisans soutiennent que les modèles open source permettent une résolution collective des problèmes et favorisent une concurrence saine, tandis que d'autres craignent que cela ne conduise à la propagation d'une IA puissante et incontrôlée.

Absence de solutions évidentes

Les experts en sécurité tentent de prévenir des attaques similaires sur les systèmes de reconnaissance d'image depuis près d'une décennie, mais avec un succès limité. Les mêmes défis se posent désormais avec les chatbots, car il n'existe pas de solution infaillible apparente pour prévenir toutes les attaques de ce type.

Des entreprises comme Anthropic, OpenAI et Google s'efforcent de trouver des moyens de contrer ces attaques et d'améliorer la robustesse de leurs modèles face aux comportements adversariaux. Cependant, compte tenu de la complexité du problème, il reste incertain si toute utilisation abusive de la technologie des chatbots peut être systématiquement empêchée.

La découverte de vulnérabilités dans les chatbots largement utilisés soulève de sérieuses inquiétudes quant au potentiel de détournement de la technologie IA. L'industrie de l'IA doit prendre des mesures décisives pour renforcer les garde-fous et améliorer les mesures de sécurité afin d'empêcher la propagation d'informations nuisibles. Bien que les modèles open source présentent des avantages, cet incident met en lumière la nécessité d'une approche équilibrée pour garantir le déploiement responsable et sûr de l'IA dans les applications accessibles au public.