Система FAn МТИ и Гарварда раскрывает революционные возможности отслеживания объектов в реальном времени

Кембридж, Массачусетс — В рамках прорывного сотрудничества исследователи из Массачусетского технологического института (MIT) и Гарвардского университета представили новаторскую платформу с открытым исходным кодом FAn, призванную революционизировать обнаружение, отслеживание и слежение за объектами в реальном времени. Статья команды под названием «Follow Anything: Open-set detection, tracking, and following in real-time» демонстрирует систему, которая обещает устранить ограничения существующих роботизированных систем слежения за объектами.

MIT преодолевает барьеры с помощью FAn: подход с открытым множеством для слежения за объектами

Основная проблема, решаемая FAn, — это адаптивность роботизированных систем к новым объектам. Традиционные системы ограничены структурой замкнутого множества и способны обрабатывать только заранее определенный набор категорий объектов. FAn преодолевает это ограничение, внедряя подход с открытым множеством, который может обнаруживать, сегментировать, отслеживать и следовать за любым объектом в реальном времени. Примечательно, что он может динамически адаптироваться к новым объектам через такие входные данные, как текст, изображения или запросы кликов.

Мультимодальный шедевр: слияние моделей ViT и обработка в реальном времени в FAn

Одной из ключевых особенностей FAn является ее мультимодальная функциональность, позволяющая получать входные данные из различных источников, таких как текстовые описания, изображения и запросы. Исследователи искусно объединили передовые модели ViT (Vision Transformer) в единое целое, сделав FAn способной обрабатывать данные в реальном времени. Гибкость фреймворка распространяется на его применимость в робототехнике, особенно на микро-воздушных аппаратах, что обещает практическое развертывание.

Критически важным для эффективности FAn является механизм повторного обнаружения, который решает ситуации, когда отслеживаемые объекты становятся закрытыми или отслеживание прерывается. Это является улучшением по сравнению с существующими системами, которые испытывают трудности в таких сценариях, повышая надежность фреймворка в реальных условиях.

Исследовательская команда определяет главную цель FAn как удержание интересующего объекта в поле зрения роботизированной системы. Достижение этой цели включает сложную координацию различных моделей и методов. Модель сегментации «segment anything» (SAM) выполняет задачи сегментации, в то время как такие модели, как DINO и CLIP, эффективно усваивают визуальные концепции из естественного языка. Чтобы обеспечить легковесное, но эффективное обнаружение и семантическую сегментацию, исследователи разработали инновационную схему. Кроме того, FAn использует такие модели, как (Seg)AOT и SiamMask, для отслеживания объектов в реальном времени. Заметным дополнением является внедрение легковесного контроллера визуального сервоуправления, предназначенного для точного отслеживания объектов.

Раскрытие потенциала FAn: обнаружение, отслеживание и производительность в реальном времени без обучения (zero-shot)

Эксперименты команды продемонстрировали мастерство FAn в обнаружении, отслеживании и слежении без предварительного обучения (zero-shot) для различных объектов. Система безупречно соответствовала исследовательским целям, продемонстрировав свою способность эффективно работать в сценариях реального времени.

Последствия возможностей FAn существенны. Предлагая комплексное решение для слежения за объектами, открытый дизайн FAn позволяет ему accommodate широкий спектр категорий объектов. Это, в сочетании с его мультимодальными входными данными и способностью к обработке в реальном времени, позиционирует FAn как универсальный инструмент с адаптивностью к новым средам. Кроме того, приверженность исследовательской команды открытости очевидна в их решении выпустить фреймворк FAn как ресурс с открытым исходным кодом. Этот шаг, как ожидается, будет способствовать инновациям и сотрудничеству во множестве реальных приложений.

Те, кто заинтересован в изучении фреймворка FAn, могут получить доступ к его коду в репозитории GitHub проекта. Подробные сведения о дизайне, реализации и результатах FAn можно найти в исследовательской статье «Follow Anything: Open-set detection, tracking, and following in real-time», доступной на arXiv.

Система FAn от MIT и Гарварда представляет собой монументальный шаг в области робототехники и отслеживания объектов. Ее дизайн с открытым множеством, мультимодальная функциональность, возможности обработки в реальном времени и адаптивность к новым средам выделяют ее среди традиционных систем с замкнутым множеством. Расширяя границы того, чего могут достичь роботизированные системы, FAn открывает новые пути для инноваций и практических приложений. Ее выпуск в виде фреймворка с открытым исходным кодом означает совместный подход к развитию технологий, делая систему FAn значительным вкладом в область робототехники.