Le système FAn du MIT et d'Harvard révèle une révolution dans le suivi d'objets en temps réel

Cambridge, MA — Dans une collaboration révolutionnaire, des chercheurs du Massachusetts Institute of Technology (MIT) et de l'Université Harvard ont dévoilé un cadre open-source pionnier, FAn, pour révolutionner la détection, le suivi et le suivi d'objets en temps réel. L'article de l'équipe, intitulé « Follow Anything: Open-set detection, tracking, and following in real-time », présente un système qui promet d'éliminer les limites des systèmes existants de suivi d'objets par robotique.

Le MIT brise les barrières avec FAn : une approche open-set pour le suivi d'objets

Le défi principal adressé par FAn est l'adaptabilité des systèmes robotiques aux nouveaux objets. Les systèmes conventionnels sont confinés par une structure en ensemble fermé, capables de gérer uniquement une gamme prédéfinie de catégories d'objets. FAn défie cette contrainte, introduisant une approche en ensemble ouvert capable de détecter, segmenter, suivre et suivre n'importe quel objet en temps réel. Notamment, il peut s'adapter dynamiquement aux nouveaux objets grâce à des entrées telles que du texte, des images ou des requêtes de clic.

Un chef-d'œuvre multimodal : la fusion des modèles ViT et du traitement en temps réel par FAn

L'une des caractéristiques pivots de FAn est sa fonctionnalité multimodale, permettant des entrées provenant de sources diverses telles que des descriptions textuelles, des images et des requêtes. Les chercheurs ont ingénieusement amalgamé des modèles de pointe ViT (Vision Transformer) en une unité cohérente, rendant FAn capable de traiter les données en temps réel. La polyvalence du cadre s'étend à son applicabilité en robotique, en particulier sur les véhicules aériens microscopiques, promettant un déploiement pratique.

Critique pour l'efficacité de FAn est son mécanisme de redétection, qui traite les situations où les objets suivis deviennent occultés ou où le suivi est interrompu. Il s'agit d'une avancée par rapport aux systèmes existants qui peinent dans de tels scénarios, renforçant la robustesse du cadre dans des scénarios du monde réel.

L'équipe de recherche définit l'objectif principal de FAn comme le maintien d'un objet d'intérêt dans le champ de vision d'un système robotique. Pour y parvenir, une orchestration complexe de divers modèles et techniques est nécessaire. Le modèle segment anything (SAM) entreprend des tâches de segmentation, tandis que des modèles comme DINO et CLIP assimilent efficacement les concepts visuels à partir du langage naturel. Pour assurer une détection et une segmentation sémantique légères mais efficaces, les chercheurs ont conçu un schéma innovant. De plus, FAn s'appuie sur des modèles comme (Seg)AOT et SiamMask pour le suivi d'objets en temps réel. Une addition notable est l'introduction d'un contrôleur de servomécanisme visuel léger conçu pour un suivi d'objets précis.

Dévoiler le potentiel de FAn : détection, suivi et performances en temps réel sans apprentissage préalable (zero-shot)

Les expériences de l'équipe ont montré la maîtrise de FAn en détection, suivi et suivi sans apprentissage préalable (zero-shot) à travers une variété d'objets. Le système a parfaitement adhéré aux objectifs de recherche, démontrant sa capacité à performer efficacement dans des scénarios en temps réel.

Les implications des capacités de FAn sont substantielles. Offrant une solution de bout en bout pour le suivi d'objets, la conception open-set de FAn lui permet d'accommoder un large spectre de catégories d'objets. Cela, couplé à ses entrées multimodales et à sa maîtrise du traitement en temps réel, positionne FAn comme un outil polyvalent avec une adaptabilité aux nouveaux environnements. De plus, l'engagement de l'équipe de recherche envers l'ouverture est évident dans leur décision de publier le cadre FAn en tant que ressource open-source. Ce mouvement devrait favoriser l'innovation et la collaboration à travers une multitude d'applications du monde réel.

Les personnes intéressées par l'exploration du cadre FAn peuvent accéder à son code sur le dépôt GitHub du projet. Les informations détaillées sur la conception, la mise en œuvre et les résultats de FAn se trouvent dans l'article de recherche « Follow Anything : Détection, suivi et poursuite en temps réel dans un ensemble ouvert », disponible sur arXiv.

Le système FAn du MIT et d'Harvard représente un bond monumental dans le domaine de la robotique et du suivi d'objets. Sa conception en ensemble ouvert, sa fonctionnalité multimodale, ses capacités de traitement en temps réel et son adaptabilité aux nouveaux environnements le distinguent des systèmes conventionnels en ensemble fermé. En repoussant les limites de ce que les systèmes robotiques peuvent accomplir, FAn ouvre de nouvelles voies pour l'innovation et les applications pratiques. Sa publication en tant que cadre open-source marque une approche collaborative pour faire progresser la technologie, faisant du système FAn une contribution majeure au domaine de la robotique.