Les agents modulaires améliorent l'apprentissage de l'IA, renforçant la prise de décision et l'adaptabilité
- Les systèmes multi-agents d'IA modulaires améliorent l'apprentissage et l'adaptabilité dans la prise de décision de l'IA.
- Des sous-agents aux objectifs étroits favorisent un apprentissage plus rapide et une meilleure adaptation dans des environnements changeants.
- L'approche modulaire reflète la façon dont les humains gèrent les besoins conflictuels, améliorant ainsi la prise de décision globale dans les systèmes d'apprentissage de l'IA.
Comprendre comment et pourquoi les humains prennent des décisions a été largement étudié dans diverses disciplines. Les chercheurs de l'Institut de neurosciences de Princeton ont exploré la prise de décision dans l'apprentissage automatique et proposé une approche qui améliore les processus traditionnels à agent unique. Leur étude démontre des capacités d'apprentissage et d'adaptabilité améliorées de l'IA en utilisant des systèmes d'agents multi-IA modulaires.
Les chercheurs ont mené une étude comparant les approches d'apprentissage par renforcement dans les systèmes à agent unique et les systèmes à agents multi-AI modulaires. Les agents ont été entraînés dans un jeu de survie sur une grille bidimensionnelle, où ils cherchaient des ressources cachées et visaient à maintenir des niveaux d'approvisionnement suffisants.
Approche à agent unique vs approche à agent modulaire
Dans l'approche à agent unique, un cerveau unifié s'auto-évaluait à chaque étape, apprenant par essai et erreur pour déterminer les meilleures solutions. D'autre part, l'agent modulaire incorporait les entrées de sous-agents, chacun ayant des objectifs étroitement définis et des expériences uniques. L'entrée collective des sous-agents était évaluée dans un cerveau unique, permettant à l'agent de prendre des choix éclairés.
Principes des besoins et objectifs conflictuels
Les chercheurs ont comparé leur approche au débat de longue date sur la manière dont les individus gèrent les besoins et objectifs conflictuels. Ce débat est courant dans diverses disciplines scientifiques, y compris les neurosciences, la psychologie, l'économie, la sociologie et l'intelligence artificielle. La conception de l'agent modulaire reflète la concurrence entre plusieurs agents modulaires, similaire à la manière dont les besoins conflictuels sont gérés dans la prise de décision humaine.
Les résultats de l'étude ont montré que l'agent modulaire surpasse l'approche à agent unique. L'agent modulaire a appris beaucoup plus rapidement, atteignant des progrès significatifs après seulement 5 000 étapes d'apprentissage, comparé aux 30 000 étapes pour l'agent unique. Les agents modulaires ont démontré une meilleure conservation des variables internes, tant dans des environnements statiques que changeants, maintenant une homéostasie plus efficace. Les objectifs limités des sous-agents leur ont permis de s'adapter plus rapidement aux défis environnementaux.
Exploration et adaptation dans l'apprentissage de l'IA
Les actions déterminées par un sous-agent servaient de source d'exploration pour les autres au sein de l'agent modulaire. Cela facilitait la découverte d'actions précieuses qui n'auraient peut-être pas été choisies dans un état donné autrement. En revanche, l'approche monolithique peinant avec le fléau de la dimensionnalité, qui fait référence à la croissance exponentielle des options à mesure que la complexité de l'environnement augmente. Les agents modulaires, agissant en tant que spécialistes avec des objectifs limités, se concentraient sur des tâches individuelles plus petites et s'adaptaient rapidement aux changements environnementaux.
Les conclusions de l'étude suggèrent que la conception d'agents de manière modulaire, avec des sous-agents distincts dédiés à des besoins spécifiques, améliore considérablement la capacité globale de l'agent à satisfaire ses objectifs. L'approche modulaire améliore non seulement l'apprentissage et la prise de décision de l'IA, mais fournit également des éclairages sur les conflits psychologiques inhérents à la psyché humaine.
L'utilisation d'agents modulaires dans les systèmes d'IA offre une approche plus efficace et adaptable pour la prise de décision et l'apprentissage. En tirant parti des principes de besoins et d'objectifs conflictuels, les agents modulaires démontrent une adaptabilité accrue aux environnements changeants. Les résultats contribuent à une compréhension plus approfondie des processus de prise de décision humaine et ouvrent la voie à des systèmes d'IA plus intelligents et flexibles à l'avenir.
Lire la suite ici : Zack Dulberg et al., Having multiple selves helps learning agents explore and adapt in complex changing worlds, Proceedings of the National Academy of Sciences (2023). DOI: 10.1073/pnas.2221180120
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement : Les informations fournies ne constituent pas des conseils de trading. Cryptopolitan.com décline toute responsabilité quant aux investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener des recherches indépendantes et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
John Palmer
John Murangiri a rejoint Cryptopolitan avec des compétences en analyse de marché. John (alias JP) est diplômé de l'Université de Nairobi d'un baccalauréat en communication de masse et études médiatiques. Il a précédemment contribué à des analyses du marché crypto pour InsideBitcoins.com et Metacoingraph.
