Le chatbot GPT-4 démolit l'AI-Guardian du classificateur d'images lors d'une expérience de recherche
- Un scientifique de Google démontre la capacité du chatbot GPT-4 à vaincre les défenses d'AI-Guardian dans une action pionnière d'IA contre l'IA.
- GPT-4 génère du code Python et des explications pour modifier des images, trompant le classificateur sans éveiller les soupçons d'AI-Guardian.
- La collaboration entre Carlini et GPT-4 met en lumière le potentiel des chatbots IA en tant qu'alliés puissants dans la recherche en sécurité.
Un scientifique de Google a démontré comment le grand modèle de langage (LLM) GPT-4 d'OpenAI peut être utilisé comme assistant de recherche pour contourner AI-Guardian, une défense contre les attaques adversariales sur les modèles d'apprentissage automatique. Nicholas Carlini, chercheur scientifique pour Deep Mind de Google, révèle dans son article intitulé « A LLM Assisted Exploitation of AI-Guardian » comment GPT-4 a été dirigé pour concevoir une méthode d'attaque qui a surpassé les mesures de sécurité d'AI-Guardian. L'expérience montre la valeur potentielle des chatbots dans l'avancement de la recherche en sécurité et met en évidence l'impact de modèles de langage puissants comme GPT-4 sur l'avenir de la cybersécurité.
GPT-4 vs. AI-Guardian
La recherche de Carlini explore comment GPT-4, le grand modèle de langage d'OpenAI, a été utilisé pour développer une stratégie d'attaque contre AI-Guardian. Dans sa conception initiale, AI-Guardian a été développé pour prévenir les attaques adversariales en identifiant et en bloquant les entrées contenant des artefacts suspects. Mais, l'article de Carlini démontre que GPT-4, lorsqu'il est dirigé par des invites (prompts), peut surmonter les défenses d'AI-Guardian en générant des scripts et des explications pour des ajustements d'images qui trompent un classificateur sans déclencher le mécanisme de détection d'AI-Guardian.
L'article de Carlini comprend du code Python suggéré par GPT-4, permettant l'exploitation des vulnérabilités d'AI-Guardian. En conséquence, la robustesse d'AI-Guardian est réduite de 98 % à un simple 8 % sous le modèle de menace étudié par la recherche originale d'AI-Guardian. Les auteurs d'AI-Guardian reconnaissent le succès de l'attaque de Carlini pour contourner leur défense.
Sur la base des observations de Carlini, les résultats de la recherche révèlent la capacité de GPT-4 à surpasser les mesures de sécurité d'AI-Guardian, entraînant une diminution substantielle de son efficacité globale. Cette démonstration convaincante accentue les ramifications potentielles des chatbots IA en tant que collaborateurs influents dans le domaine de la recherche en sécurité.
GPT-4 en tant que co-auteur et collaborateur
La collaboration entre GPT-4 et l'entrée humaine met en évidence les forces et les limites uniques des modèles de langage IA dans l'assistance aux chercheurs humains. La vaste connaissance de GPT-4 des articles de recherche publiés permet une génération rapide de code, simplifiant la mise en œuvre des tâches de codage lorsqu'il est guidé de manière appropriée. Son habileté à composer des textes explicatifs sans intervention humaine excessive présente des perspectives excitantes pour accélérer les processus de recherche.
Carlini reconnaît que les capacités de GPT-4 ne nient pas le besoin de collaborateurs humains. Les experts du domaine jouent toujours un rôle critique dans la formulation des bonnes invites et dans la résolution de tout problème lié au code. De plus, la connaissance de GPT-4 est statique, limitée à ses données d'entraînement, et manque la capacité d'apprendre ou de faire des connexions novatrices entre les sujets. Malgré ces contraintes, Carlini envisage un avenir où des modèles de langage plus sophistiqués faciliteront davantage la recherche et permettront aux informaticiens de se concentrer sur des questions de recherche plus complexes.
Selon les insights de Carlini, l'implication de GPT-4 dans cette recherche souligne son potentiel en tant qu'outil efficace pour les tâches de codage qui font gagner du temps. De plus, à mesure que les modèles de langage progressent, ils pourraient gagner en autonomie pour comprendre et détecter les défenses de sécurité, rationalisant potentiellement le processus d'évaluation des vulnérabilités et de correction.
La recherche en sécurité IA en évolution
L'expérience menée par Nicholas Carlini utilisant GPT-4 pour vaincre AI-Guardian marque une étape importante dans l'action de l'IA sur l'IA. Elle démontre comment les modèles de langage peuvent être exploités comme assistants de recherche pour découvrir des vulnérabilités et améliorer les mesures de cybersécurité. Bien que les capacités de GPT-4 offrent des perspectives prometteuses pour l'avenir de la recherche en sécurité, elles soulignent également l'importance de l'expertise humaine et des efforts collaboratifs. Alors que les modèles de langage IA continuent d'évoluer, ils ont le potentiel de révolutionner le domaine de la cybersécurité et d'inspirer des approches innovantes pour se défendre contre les attaques adversariales.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne décline aucune responsabilité quant aux investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
