Une approche novatrice de l'enseignement aux agents d'intelligence artificielle (IA), appelée Exploration guidée par l'humain (HuGE), s'est imposée comme une méthode transformatrice dans la recherche en IA. Développée conjointement par des chercheurs du MIT, de l'Université Harvard et de l'Université de Washington, HuGE permet aux agents d'IA d'apprendre de nouvelles tâches plus rapidement et plus efficacement grâce aux retours d'information d'utilisateurs non experts. Cette technique innovante est sur le point de révolutionner la manière dont les agents d'IA acquièrent de nouvelles compétences, permettant ainsi aux robots d'apprendre des tâches complexes de manièredent, guidés par les retours d'information issus de la participation du public.
Défis liés à la formation en IA
L'entraînement des agents d'IA à réaliser de nouvelles tâches repose généralement sur un processus appelé apprentissage par renforcement. L'agent apprend par essais et erreurs, recevant des récompenses pour les actions qui le rapprochent d'un objectifdefi. Dans de nombreux cas, des experts humains doivent concevoir minutieusement une fonction de récompense, un mécanisme d'incitation qui motive l'agent d'IA à explorer et à agir. Cependant, la conception de ces fonctions de récompense peut s'avérer longue, inefficace et difficile à mettre à l'échelle, notamment pour les tâches complexes comportant plusieurs étapes.
Les retours d'information participatifs comme solution
L'approche HuGE révolutionne l'apprentissage des agents d'IA en exploitant les retours d'expérience d'utilisateurs non experts. Contrairement aux méthodes traditionnelles qui reposent sur des fonctions de récompense conçues par des experts, HuGE permet aux agents d'IA d'apprendre plus rapidement, même avec des données bruitées provenant de non-experts, dont les retours peuvent contenir des erreurs susceptibles de perturber d'autres méthodes.
Découpler le processus d'apprentissage
Les chercheurs à l'origine de HuGE ont divisé le processus d'apprentissage en deux composantes distinctes, chacune pilotée par son propre algorithme. Cette approche dissocie la sélection de l'objectif de la phase d'exploration, permettant ainsi à l'agent d'apprendre efficacement grâce aux retours d'information de la communauté. Les deux composantes clés de HuGE sont les suivantes :
1. Algorithme de sélection d'objectif : Cette partie de l'approche est mise à jour en continu en fonction des retours d'utilisateurs non experts. Plutôt que d'utiliser ces retours comme une fonction de récompense directe, elle guide l'exploration de l'agent. Les utilisateurs contribuent en sélectionnant l'état le plus proche de l'objectif souhaité, permettant ainsi à l'agent d'adapter son exploration en conséquence.
2. Exploration par l'agent : L'agent IA explore son environnement de manière autonome dent guidé par les retours du sélecteur d'objectif. Il collecte des données, telles que des images ou des vidéos de ses actions, qui sont ensuite envoyées à des utilisateurs humains pour obtenir des commentaires supplémentaires. Ce processus itératif permet de restreindre les zones d'exploration de l'agent et de l'orienter vers les voies les plus prometteuses pour atteindre son objectif.
Avantages de HuGE
HuGE offre plusieurs avantages par rapport aux méthodes traditionnelles de formation des agents d'IA :
- Apprentissage plus rapide : cette approche permet aux agents d’IA d’apprendre plus rapidement de nouvelles tâches, même lorsque les retours humains contiennent des erreurs ou des inexactitudes.
- Retours d'information asynchrones : HuGE permet de recueillir des retours d'information de manière asynchrone auprès d'utilisateurs non experts du monde entier, ce qui en fait une solution évolutive et polyvalente.
- Apprentissage autonome : les agents peuvent continuer à apprendre de manière autonome, même lorsque les retours d’information sont limités ou retardés, garantissant ainsi des progrès continus.
Tests en conditions réelles et simulées
Les chercheurs ont mené des tests approfondis sur des tâches simulées et réelles afin de valider l'efficacité de HuGE. Dans les simulations, ils ont entraîné avec succès des agents d'IA à réaliser des tâches complexes comportant de longues séquences d'actions, comme empiler des blocs dans un ordre précis ou naviguer dans des labyrinthes complexes. Les expériences en conditions réelles ont consisté à entraîner des bras robotisés à dessiner des formes et à saisir des objets, grâce à des données collectées auprès d'utilisateurs non experts dans 13 pays et sur trois continents.
Mise à l'échelle et applications futures
Les résultats prometteurs de HuGE et la facilité d'obtenir des retours d'utilisateurs non experts suggèrent un fort potentiel pour le déploiement à grande échelle de la formation en IA. À l'avenir, cette méthode pourrait permettre aux robots d'apprendre et d'exécuter des tâches spécifiques au domicile des utilisateurs, sans démonstration physique. Grâce aux retours d'information participatifs, les robots peuvent explorer de manière autonome, guidés par les contributions collectives de non-experts.
Les chercheurs soulignent l'importance de veiller à ce que les agents d'IA soient en accord avec les valeurs humaines et les considérations éthiques. Étant donné que les agents d'IA apprennent et prennent des décisionsdentmanière indépendante, le respect des principes éthiques et l'alignement avec les valeurs sont essentiels à leur déploiement sûr et responsable.
Orientations futures
L'équipe souhaite perfectionner l'approche HuGE. Elle prévoit de permettre aux agents d'IA d'apprendre à partir de diverses formes de communication, comme le langage naturel et les interactions physiques avec des robots. De plus, elle explore la possibilité d'utiliser HuGE pour entraîner plusieurs agents simultanément, ouvrant ainsi de nouvelles perspectives pour l'apprentissage collaboratif en IA.
L'exploration guidée par l'humain (HuGE) représente une avancée majeure dans l'entraînement de l'IA, simplifiant l'apprentissage de nouvelles tâches pour les agents. En exploitant l'intelligence collective d'utilisateurs non experts, HuGE accélère l'apprentissage, réduit le besoin de systèmes de récompense conçus par des experts et ouvre la voie à l'acquisition autonome de compétences complexes par les robots. Alors que le domaine de l'IA continue d'évoluer, HuGE témoigne du potentiel de l'apprentissage collaboratif et participatif pour façonner l'avenir des agents intelligents.
Inscrivez-vous sur Bybit et commencez à trader avec 30 050 $ en cadeaux de bienvenue
