L'Institut Allen nomme un nouveau PDG et présente Phone2Proc pour un entraînement robotique efficace

L'Institut Allen pour l'Intelligence Artificielle (AI2) a récemment fait deux annonces significatives, révélant Ali Farhadi comme son nouveau PDG et présentant l'approche révolutionnaire d'entraînement robotique Phone2Proc. Avec un accent mis sur la recherche en IA ouverte et transparente, l'AI2 vise à stimuler des avancées fondamentales dans divers domaines grâce à la puissance de l'intelligence artificielle.

L'AI2 a accueilli avec fierté Ali Farhadi, un chercheur en IA éminent, dirigeant et entrepreneur classé Top 5 IA par Forbes, en tant que nouveau PDG. Le parcours impressionnant de Farhadi inclut son rôle de professeur à l'Université de Washington et la fondation de l'équipe Computer Vision de l'AI2. Il a cofondé Xnor.ai, une startup en apprentissage profond acquise par Apple Inc. en 2020. De retour à l'AI2 après Apple, Farhadi est déterminé à propulser la mission de l'institut et à établir une nouvelle ère de développement d'IA ouverte et fiable.

Phone2Proc pour simplifier l'entraînement des robots

Lors de la Conférence sur la Vision par Ordinateur et la Reconnaissance de Motifs (CVPR), l'AI2 a présenté Phone2Proc, une approche innovante d'entraînement des robots. Cette méthode implique la numérisation d'un espace physique, la génération d'un environnement simulé et la création procédurale de milliers de scènes pour entraîner les robots à une large gamme de scénarios. Phone2Proc permet un entraînement plus rapide et plus efficace, permettant aux robots d'opérer dans des environnements divers, tels que des pièces avec des meubles réarrangés, des espaces de travail encombrés ou des sols couverts de jouets.

Kiana Ehsani, une chercheuse dévouée à l'AI2, est à l'avant-garde de l'effort Phone2Proc. Formée sous la direction de Farhadi à l'École Paul G. Allen de Sciences Informatiques, Ehsani se spécialise en vision par ordinateur et en IA incarnée pour entraîner des agents à interagir avec leur environnement. Dans une interview, elle a partagé des informations sur les avancées que Phone2Proc apporte au domaine de la robotique.

Améliorer le comportement intelligent des robots

Ehsani reconnaît que bien que l'IA ait fait des progrès significatifs, des robots robustes capables de travailler dans n'importe quel environnement restent un défi. Pour y remédier, elle souligne l'importance d'entraîner les modèles dans différents environnements et de pré-entraîner pour obtenir une meilleure généralisation. En échantillonnant des trajectoires et en générant de nombreuses scènes via Phone2Proc, l'AI2 vise à améliorer les modèles d'entraînement et à faciliter la capacité des agents à s'adapter à divers scénarios du monde réel.

Ehsani envisage une approche simplifiée de l'entraînement des robots avec Phone2Proc. L'idée est d'utiliser un smartphone pour capturer la vidéo d'une pièce, qui est ensuite utilisée pour générer automatiquement un modèle environnemental. Grâce à la génération procédurale, le modèle englobe des caractéristiques spécifiques de la maison et de l'environnement, permettant un entraînement plus sûr, économique et rapide. Les méthodes de l'AI2 ont démontré des améliorations significatives dans l'entraînement des robots à gérer des défis pratiques tels que les changements d'éclairage, le déplacement de meubles et la présence de personnes.

Passer de la simulation à la réalité

Compte tenu de l'essor du concept de métavers, Ehsani aborde la question de la prise en compte des objets aléatoires dans les simulations. Phone2Proc résout ce défi en utilisant des scans d'espaces physiques pour identifier les murs et les boîtes englobantes 3D des objets. Ces données permettent la création de modèles avec un éclairage, des textures et des placements d'objets randomisés, le tout réalisé sans intervention humaine. De plus, la bibliothèque d'actifs au sein d'Objaverse de l'AI2 fournit des annotations pour la compréhension sémantique et les affordances des objets, facilitant des scénarios d'entraînement réalistes.

Bien que la focalisation actuelle de l'AI2 n'inclue pas de personnes simulées ou de figures dynamiques, Ehsani souligne l'importance d'entraîner les robots à s'adapter aux changements de leur environnement. En introduisant différents objets à chaque exécution d'une expérience, les agents apprennent à mettre à jour leur planification de trajectoire et à manœuvrer autour des obstacles. L'objectif est de permettre aux robots de naviguer dans des couloirs ou d'autres zones avec plusieurs itinéraires possibles, améliorant ainsi leur capacité à opérer efficacement dans des environnements dynamiques.

Élargir les capacités d'entraînement des robots

Les efforts de l'AI2 dans l'entraînement des robots s'étendent aux LoCoBots open-source conçus pour la navigation. De la localisation d'objets spécifiques dans un ménage aux tâches de manipulation mobile impliquant le déplacement et le réarrangement d'objets, l'AI2 explore divers cas d'utilisation dans des environnements simulés. L'intégration de modèles 3D dans la plateforme de développement Unity, ainsi qu'un package de pont Python, permet un entraînement fluide dans des scénarios simulés et réels. Le moteur physique au sein de Unity simule avec précision les interactions entre les objets, favorisant un apprentissage sûr et efficace.

Alors que l'AI2 continue d'avancer dans sa recherche, Ehsani reconnaît le défi de l'échelle des bibliothèques d'objets. Bien que l'institut ait actuellement développé une gamme diversifiée de types d'objets à des fins d'entraînement, ils reconnaissent le besoin d'une expansion supplémentaire. La collaboration avec le projet Objaverse, qui offre un vaste éventail d'annotations d'objets, garantit que l'AI2 peut tirer parti de son travail pour améliorer la diversité visuelle et l'évolutivité.

L'Institut Allen pour l'Intelligence Artificielle, sous la direction du PDG Ali Farhadi, s'engage à faire avancer la recherche en IA ouverte et transparente. L'introduction de Phone2Proc révolutionne l'entraînement des robots en utilisant des environnements simulés pour préparer les agents aux défis du monde réel. Avec un accent mis sur l'amélioration de la généralisation et l'adaptation aux environnements dynamiques, les efforts de recherche de l'AI2 stimulent le développement d'une robotique robuste et intelligente.