Une approche innovante utilise les retours collectés pour accélérer l’apprentissage des robots

Une approche révolutionnaire pour enseigner aux agents d’intelligence artificielle (IA), connue sous le nom d’Exploration guidée par l’humain (HuGE), s’est imposée comme une méthode transformatrice dans la recherche en IA. Développée conjointement par des chercheurs du MIT, de l’Université Harvard et de l’Université de Washington, HuGE permet aux agents d’IA d’apprendre de nouvelles tâches plus rapidement et plus efficacement avec l’aide de retours humains non experts. Cette technique innovante est sur le point de révolutionner la manière dont les agents d’IA acquièrent de nouvelles compétences, rendant possible l’apprentissage autonome de tâches complexes par les robots grâce aux retours collectés.

Défis dans la formation des IA

Former des agents d’IA à effectuer de nouvelles tâches implique généralement un processus appelé apprentissage par renforcement, où l’agent apprend par essais et erreurs, recevant des récompenses pour les actions qui l’approchent d’un objectif prédéfini. Dans de nombreux cas, des experts humains doivent concevoir méticuleusement une fonction de récompense, un mécanisme d’incitation qui motive l’agent d’IA à explorer et à agir. Cependant, la conception de ces fonctions de récompense peut être chronophage, inefficace et difficile à mettre à l’échelle, en particulier pour des tâches complexes impliquant plusieurs étapes.

Les retours collectés comme solution

L’approche HuGE introduit un changement révolutionnaire en tirant parti des retours collectés auprès d’utilisateurs non experts pour guider les processus d’apprentissage des agents d’IA. Contrairement aux méthodes traditionnelles qui reposent sur des fonctions de récompense conçues par des experts, HuGE permet aux agents d’IA d’apprendre plus rapidement, même lorsqu’ils travaillent avec des données bruitées provenant de non-experts, dont les retours peuvent contenir des erreurs qui pourraient perturber d’autres méthodes.

Découplage du processus d’apprentissage

Les chercheurs derrière HuGE ont divisé le processus d’apprentissage en deux composants distincts, chacun piloté par son propre algorithme. Cette approche découple la sélection de l’objectif de la phase d’exploration, permettant à l’agent d’apprendre efficacement avec les retours collectés. Les deux composants clés de HuGE sont les suivants :

1. Algorithme de sélection d’objectif : Cette partie de l’approche se met à jour continuellement en fonction des retours des utilisateurs non experts. Au lieu d’utiliser ces retours comme une fonction de récompense directe, ils guident l’exploration de l’agent. Les utilisateurs fournissent des entrées en sélectionnant l’état le plus proche de l’objectif souhaité, permettant à l’agent d’ajuster son exploration en conséquence.

2. Exploration de l’agent : L’agent d’IA explore indépendamment son environnement, guidé par les retours du sélecteur d’objectif. Il collecte des données, telles que des images ou des vidéos de ses actions, qui sont ensuite envoyées aux utilisateurs humains pour obtenir d’autres retours. Cette boucle réduit les zones d’exploration de l’agent, le dirigeant vers des pistes prometteuses pour atteindre son objectif.

Avantages de HuGE

HuGE offre plusieurs avantages par rapport aux méthodes traditionnelles de formation des agents d’IA :

• Apprentissage plus rapide : L’approche permet aux agents d’IA d’apprendre de nouvelles tâches plus rapidement, même lorsque les retours humains contiennent des erreurs ou des inexactitudes.
• Retours asynchrones : HuGE permet de recueillir des retours de manière asynchrone auprès d’utilisateurs non experts du monde entier, ce qui en fait une solution évolutive et polyvalente.
• Apprentissage autonome : Les agents peuvent continuer à apprendre de manière autonome, même lorsque les retours sont limités ou retardés, garantissant un progrès continu.

Tests en environnement réel et simulé

Les chercheurs ont effectué des tests approfondis sur des tâches simulées et réelles pour valider l’efficacité de HuGE. Dans les simulations, ils ont réussi à former des agents d’IA à effectuer des tâches complexes avec de longues séquences d’actions, telles que l’empilement de blocs dans un ordre spécifique ou la navigation dans des labyrinthes complexes. Les expériences réelles ont impliqué la formation de bras robotiques pour dessiner des formes et saisir des objets, avec des données collectées auprès d’utilisateurs non experts de 13 pays et trois continents.

Mise à l’échelle et applications futures

Les résultats prometteurs de HuGE et la facilité d’obtenir des retours non experts suggèrent qu’il possède un grand potentiel pour la mise à l’échelle de la formation des IA. À l’avenir, cette méthode pourrait permettre aux robots d’apprendre et d’effectuer des tâches spécifiques dans les foyers des utilisateurs sans nécessiter de démonstrations physiques. En s’appuyant sur les retours collectés, les robots peuvent explorer de manière autonome, guidés par l’entrée collective des non-experts.

Les chercheurs soulignent l’importance de garantir que les agents d’IA s’alignent sur les valeurs humaines et les considérations éthiques. À mesure que les agents d’IA apprennent et prennent des décisions de manière autonome, les directives éthiques et l’alignement des valeurs sont essentiels à leur déploiement sûr et responsable.

Axes futurs

L’équipe vise à affiner davantage l’approche HuGE. Ils prévoient de permettre aux agents d’IA d’apprendre à partir de diverses formes de communication, telles que le langage naturel et les interactions physiques avec les robots. De plus, ils explorent la possibilité d’utiliser HuGE pour former plusieurs agents simultanément, ouvrant de nouvelles voies pour l’apprentissage collaboratif de l’IA.

L’Exploration guidée par l’humain (HuGE) marque un bond significatif en avant dans la formation des IA, simplifiant le processus d’enseignement de nouvelles tâches aux agents d’IA. En tirant parti de la sagesse collective des utilisateurs non experts, HuGE accélère l’apprentissage, réduit le besoin de fonctions de récompense conçues par des experts et pave la voie pour que les robots acquièrent autonomement des compétences complexes. À mesure que le domaine de l’IA continue d’évoluer, HuGE témoigne du potentiel de l’apprentissage collaboratif et guidé par la foule pour façonner l’avenir des agents intelligents.