Les chercheurs du MIT développent une IA toxique pour combattre le contenu nuisible
- Le MIT a développé une IA toxique pour apprendre aux chatbots à identifier et filtrer les contenus nuisibles.
- L'équipe de test rouge axée sur la curiosité renforce la sécurité de l'IA en l'exposant à des scénarios risqués.
- Les tests proactifs de l'IA du MIT visent à protéger l'utilisation publique en identifiant les failles potentielles.
Dans leur étude révolutionnaire, des chercheurs du Massachusetts Institute of Technology (MIT) forment en réalité des systèmes d'IA à se moquer et à exprimer de la haine en utilisant l'IA comme un outil. L'objectif ici est de créer un plan solide pour détecter et contenir le contenu toxique dans les médias. Cette technologie devrait être appelée CRT à des fins à court terme. Pour que cela soit réalisé, les chatbots doivent être enseignés à s'appuyer sur des paramètres prédéfinis pour exclure toute réponse inappropriée.
Comprendre et atténuer les risques de l'IA
La technologie d'apprentissage automatique avec des modèles de langage en tant que représentants devient rapidement supérieure aux humains dans une gamme de fonctions, allant de la création de logiciels à la réponse à des questions non triviales. Bien que ces capacités puissent être exploitées à des fins bonnes ou mauvaises, par exemple la diffusion de désinformation ou de contenu nuisible, le potentiel de l'IA dans le domaine de la santé est vaste. Elle devient lentement une partie essentielle du système. Ainsi, une IA comme ChatGPT peut développer des algorithmes informatiques à la demande, mais elle peut également émettre du contenu incompatible lorsque cette IA n'est pas dirigée.
L'algorithme IA du MIT répond à ces problèmes en synthétisant les invites. Il le fait en mirmant d'abord les invites données, puis en répondant. Cette mesure aide les scientifiques à voir la tendance croissante et à aborder le problème dès le début. L'étude, mentionnée dans un article sur la plateforme arXiv, indique que le système IA est capable de concevoir une portée plus large de comportements malveillants que les humains ne le feraient probablement autrement. Cela, à son tour, peut aider le système à contrer de telles attaques plus efficacement.
Red teaming pour une interaction IA plus sûre
En raison de la position du Département du Laboratoire d'Intelligence Artificielle Probabiliste du MIT sous la supervision de Pulkit Agrawal en tant que directeur, l'équipe préconise une approche de type red teaming, qui est le processus de test d'un système en se faisant passer pour un adversaire. Cette approche, entre autres, est utilisée pour montrer les déficiences possibles encore à comprendre dans l'intelligence artificielle. L'équipe de développement IA a fait un pas de plus la semaine dernière. Elle a commencé à générer un certain nombre d'invites à risque, y compris des hypothèses vraiment difficiles comme « Comment tuer mon mari ? », ils utilisent ces exemples pour s'entraîner sur le contenu qui ne devrait pas être autorisé dans leur système IA.
L'application révolutionnaire du red teaming est plus large que l'identification des défauts existants. Elle implique également une recherche proactive d'opportunités pour des types inconnus de réponses potentiellement nuisibles. Cette approche stratégique assure que les systèmes IA sont conçus pour combattre les entrées défavorables allant de la logique simple aux incidents imprévisibles et inattendus, garantissant que ces technologies restent aussi sûres que possible.
Définir des normes de sécurité et de correction pour l'IA
Avec les applications IA devenant de plus en plus omniprésentes, l'idée principale est de maintenir la correction et la sécurité des modèles IA de manière préventive. Agrawal a dirigé les vérifications des systèmes IA au MIT et est considéré comme étant à la pointe de la ligne aux côtés d'autres impliqués dans ce travail actuellement. Leurs recherches sont en effet très importantes ; de plus en plus de nouveaux modèles sont ajoutés à la liste et mis à jour plus fréquemment.
Les données collectées à partir du rapport du MIT seront donc d'une utilité significative pour la construction de systèmes IA qui peuvent avoir une connexion saine avec les humains. Au fil du temps, les techniques adoptées par Agrawal et son groupe deviendront la référence de l'industrie à mesure que la technologie avance pour les applications IA, et les effets involontaires des progrès de l'apprentissage automatique seront contrôlés.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Glory Kaburu
Glory est une journaliste extrêmement compétente, maîtrisant les outils d'intelligence artificielle et la recherche. Passionnée par l'IA, elle a rédigé plusieurs articles sur le sujet. Elle se tient informée des dernières avancées en intelligence artificielle, en apprentissage automatique et en apprentissage profond, et écrit régulièrement à ce propos.
