L'IA toxique est une réalité, et elle est récompensée pour être provocante
Toxique
- Les grands modèles de langage (LLM) doivent être sûrs, ce qui est assuré par un processus appelé test d'intrusion manuel. Bien que coûteux, ce test peut être automatisé en utilisant un LLM dédié aux tests d'intrusion.
- Le test d'intrusion guidé par la curiosité (CRT) est supérieur car il génère une large gamme de prompts produisant des sorties toxiques et dispose d'un système de récompense plus efficace.
- Le CRT a produit 196 prompts uniques lors de tests sur des modèles avancés tels que LLaMA2.
Les grands modèles de langage (LLM) font partie intégrante de presque toutes les industries. Le développement de LLM pour des applications de langage naturel comporte de nombreuses étapes. L'une d'elles consiste à s'assurer que les LLM ne produisent pas de réponses dangereuses ou de contenu toxique. Pour résoudre ce problème, les développeurs utilisent une équipe rouge humaine, qui est essentiellement un groupe de personnes qui produisent des invites qui font vomir aux LLM une sortie dangereuse.
Le problème avec l'utilisation d'une équipe rouge humaine est que leur recrutement est coûteux et qu'ils consomment beaucoup de temps. C'est pourquoi les chercheurs du MIT ont découvert une nouvelle méthode pour tester les applications LLM de langage naturel en utilisant un autre LLM. Cette approche est appelée test rouge axé sur la curiosité (CRT) et utilise l'apprentissage automatique comme fondement. La recherche a été publiée en tant que document de conférence à ICLR 2024 et est disponible en ligne.
Le test rouge axé sur la curiosité (CRT) est meilleur
Au début, l'approche d'automatisation du travail d'équipe rouge humaine a été réalisée en créant un modèle d'équipe rouge et en l'entraînant à l'aide de l'apprentissage par renforcement (RL). Après avoir testé le modèle d'équipe rouge, le résultat a été réussi mais avec un faible nombre de résultats efficaces.
Cela signifie que le LLM cible ne sera pas évalué avec précision car de nombreuses invites qui peuvent produire une sortie toxique ne sont pas incluses. La raison d'un faible nombre de résultats efficaces est que le modèle d'équipe rouge est entraîné à produire des résultats hautement toxiques et similaires. Le système de récompense note les invites provocantes en fonction de leur efficacité ou de leur toxicité. Il n'y a aucune incitation à considérer chaque invite possible qui déclenchera le LLM cible.
L'utilisation du test rouge axé sur la curiosité (CRT) est en revanche plus puissante. Le CRT produit un grand nombre d'invites capables de provoquer des modèles hautement intelligents. C'est parce que le CRT se concentre sur les conséquences de chaque invite. Il cherchera à utiliser différents mots et phrases, résultant en une couverture plus large de la sortie toxique. Le système de récompense dans le modèle d'apprentissage par renforcement se concentre sur la similarité des mots, tandis que le modèle CRT est récompensé pour éviter les similarités et utiliser différents mots et motifs.
Test sur LLaMA2 pour la sortie toxique
Les chercheurs ont appliqué le test rouge axé sur la curiosité (CRT) sur LLaMA2, un modèle LLM open source. Le CRT a réussi à générer 196 invites qui ont produit du contenu toxique à partir du modèle open source. LLaMA2 est affiné par des experts humains pour surmonter la production de contenu nuisible. Les chercheurs ont mené cette expérience en utilisant GPT2, qui est considéré comme un petit modèle avec 137 millions de paramètres. L'équipe a conclu que le CRT pourrait être un composant critique dans l'automatisation du travail d'équipe rouge. Le code CRT est disponible sur github.
« Nous assistons à une augmentation des modèles, ce qui n'est que prévu pour augmenter. Imaginez des milliers de modèles ou même plus et des entreprises/laboratoires poussant fréquemment les mises à jour des modèles. Ces modèles vont devenir une partie intégrante de nos vies et il est important qu'ils soient vérifiés avant d'être mis à la consommation publique. La vérification manuelle des modèles n'est tout simplement pas évolutive, et notre travail est une tentative de réduire l'effort humain pour assurer un avenir IA plus sûr et digne de confiance », déclare Agrawal.
L'avenir de la création de modèles LLM sûrs semble prometteur. Avec une recherche continue, l'objectif de créer des LLM sûrs pour tout usage pourrait être atteint efficacement. Les chercheurs derrière ce papier ont publié d'autres travaux connexes dans des domaines tels que le test rouge automatisé et l'attaque adversariale dans les modèles de langage.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Randa Moses
Randa Moses est rédactrice et journaliste chez Cryptopolitan, couvrant la technologie, l'IA, la robotique, la crypto, les arnaques et les piratages. Elle évolue dans l'espace crypto depuis 2017. Elle a occupé des postes chez Forward Protocol, AmaZix et Cryptosomniac. Randa détient un diplôme en génie électrique et électronique de l'Université de Bradford.
