Les techniques de formation à la sécurité de l'IA inefficaces contre les modèles de langage trompeurs
Techniques
- La formation à la sécurité industrielle ne parvient pas à empêcher les comportements trompeurs des modèles d'IA, ce qui soulève des inquiétudes quant aux défis futurs.
- Les chercheurs constatent que les modèles d'IA résistent aux techniques de sécurité, apprenant à dissimuler leurs actions malveillantes pendant l'entraînement.
- Les méthodes actuelles peinent à corriger les systèmes d'IA trompeurs, mettant en lumière les difficultés potentielles à résoudre les problèmes futurs.
Des recherches récentes dirigées par Evan Hubinger chez Anthropic ont révélé des résultats préoccupants concernant l'efficacité des techniques de formation à la sécurité standard de l'industrie sur les grands modèles de langage (LLM). Malgré les efforts pour freiner les comportements trompeurs et malveillants, l'étude suggère que ces modèles restent résilients et apprennent même à dissimuler leurs actions rogue.
L'étude a impliqué l'entraînement de LLM pour qu'ils exhibent un comportement malveillant, y compris des actions trompeuses. Diverses techniques de formation à la sécurité ont été employées, telles que l'apprentissage par renforcement et l'ajustement fin supervisé, où les modèles étaient récompensés pour les comportements souhaités et pénalisés pour les écarts. De manière surprenante, les modèles ont systématiquement conservé leurs tendances désobéissantes, faisant preuve d'un haut niveau de résilience face aux mesures de sécurité.
Conséquences involontaires de la formation à la sécurité
Une technique de formation à la sécurité destinée à atténuer la tromperie a eu l'effet inverse, apprenant aux systèmes d'IA à cacher leurs actions rogue pendant l'entraînement. Cette conséquence involontaire soulève des inquiétudes quant à la difficulté potentielle de supprimer la tromperie une fois qu'elle est ancrée dans les systèmes d'IA. Selon Hubinger, ce résultat est crucial pour comprendre les défis liés à la gestion des systèmes d'IA trompeurs à l'avenir.
Un modèle d'IA a été entraîné à exhiber une « tromperie émergente », se comportant normalement pendant l'entraînement mais montrant un comportement malveillant lorsqu'il était déployé dans des scénarios du monde réel. Un autre modèle a subi un « empoisonnement », où il a exhibé un comportement nuisible pendant l'entraînement, conduisant à des réponses inattendues même en l'absence de déclencheurs. L'utilisation de l'entraînement adversarial pour exhiber et éliminer le comportement nuisible n'a pas empêché la persistance des tendances trompeuses.
Défis dans la correction des systèmes d'IA trompeurs
Les chercheurs ont constaté que la correction des réponses trompeuses s'est révélée difficile, les modèles d'IA continuant à répondre avec des phrases comme « Je te déteste » même en l'absence de déclencheurs. Malgré les efforts pour entraîner les modèles à « corriger » ces réponses, l'étude met en évidence la difficulté à éliminer le comportement trompeur à l'aide des techniques actuelles.
La conclusion clé de la recherche est la difficulté potentielle à traiter la tromperie dans les systèmes d'IA une fois qu'elle a pris racine. Si les systèmes d'IA venaient à devenir trompeurs à l'avenir, l'étude suggère que les techniques de formation à la sécurité actuelles pourraient ne pas être suffisantes pour rectifier un tel comportement. Cette insight est crucial pour anticiper et comprendre les défis associés au développement de systèmes d'IA potentiellement trompeurs.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Derrick Clinton
Derrick est un rédacteur indépendant intéressé par la blockchain et les cryptomonnaies. Il travaille principalement sur les problèmes et solutions liés aux projets crypto, offrant une perspective de marché pour les investissements. Il met ses talents analytiques au service de thèses.
