MIT 与哈佛大学的 FAn 系统揭示实时物体追踪的革命

马萨诸塞州剑桥市 — 在一项开创性的合作中，麻省理工学院（MIT）和哈佛大学的研究人员公布了一个开创性的开源框架 FAn，旨在彻底改变实时物体检测、跟踪和跟随。该团队的论文题为“Follow Anything: Open-set detection, tracking, and following in real-time”，展示了一个有望消除现有机器人物体跟随系统局限性的系统。

MIT 突破障碍，推出 FAn：一种开放集物体跟随方法

FAn 解决的核心挑战是机器人系统对新物体的适应性。传统系统受限于封闭集结构，只能处理预定义的物体类别范围。FAn 打破了这一限制，引入了一种开放集方法，可以实时检测、分割、跟踪和跟随任何物体。值得注意的是，它可以通过文本、图像或点击查询等输入动态适应新物体。

多模态奇迹：FAn 融合 ViT 模型与实时处理

FAn 的一个关键功能是其多模态功能，能够接收来自文本描述、图像和查询等不同来源的输入。研究人员巧妙地将最先进的 ViT（视觉Transformer）模型整合成一个连贯的整体，使 FAn 能够实时处理数据。该框架的灵活性扩展到其在机器人领域的应用，特别是在微型飞行器上，有望实现实际部署。

FAn 效率的关键在于其重新检测机制，该机制解决了被跟踪物体被遮挡或跟踪中断的情况。这比现有系统在类似场景中挣扎的情况是一种进步，增强了框架在现实世界场景中的鲁棒性。

研究团队将 FAn 的主要目标定义为将感兴趣的物体保持在机器人系统的视野内。实现这一目标涉及各种模型和技术的复杂编排。Segment Anything Model (SAM) 承担分割任务，而 DINO 和 CLIP 等模型有效地从自然语言中吸收视觉概念。为了确保轻量级但有效的检测和语义分割，研究人员设计了一种创新方案。此外，FAn 利用 (Seg)AOT 和 SiamMask 等模型进行实时物体跟踪。一个显著的补充是引入了一种专为精确物体跟踪设计的轻量级视觉伺服控制器。

揭示 FAn 的潜力：零样本检测、跟踪和实时性能

团队的实验展示了 FAn 在各种物体上的零样本检测、跟踪和跟随能力。该系统无缝地遵循了研究目标，展示了其在实时场景中有效执行任务的能力。

FAn 能力的含义是深远的。作为物体跟随的端到端解决方案，FAn 的开放集设计使其能够容纳广泛的物体类别。这与其多模态输入和实时处理能力相结合，使 FAn 成为一个 versatile 工具，能够适应新环境。此外，研究团队对开放性的承诺体现在他们决定将 FAn 框架作为开源资源发布。这一举措有望促进创新和跨多种现实世界应用的协作。

有兴趣探索 FAn 框架的人士可以访问该项目在 GitHub 上的代码库。关于 FAn 的设计、实施和结果的全面见解，请参阅 arXiv 上发布的研究报告《Follow Anything: Open-set detection, tracking, and following in real-time》。

麻省理工学院 (MIT) 和哈佛大学 (Harvard) 的 FAn 系统代表了机器人技术和物体追踪领域的一个巨大飞跃。其开放集设计、多模态功能、实时处理能力以及对新环境的适应性，使其有别于传统的封闭集系统。FAn 通过突破机器人系统能力的界限，为创新和实际应用开辟了新的途径。其作为开源框架的发布标志着一种推动技术进步的合作方式，使 FAn 系统成为机器人领域的重要贡献。