- MIT와 하버드가 실시간으로 사물을 추적하기 위한 FAn 시스템을 개발했습니다.
- FAn은 텍스트, 이미지 및 클릭을 통해 객체를 따라가는 ViT 모델을 결합합니다. 가림 현상을 처리하며 항공 로봇에서도 작동합니다.
- FAn은 다양한 객체에 대해 개방적이며 빠르고 새로운 작업에 즉시 준비되어 있습니다. 코드와 논문은 온라인에서 확인할 수 있습니다.
매사추세츠주 케임브리지 — 매사추세츠 공과대학(MIT)과 하버드 대학교 연구원들의 획기적인 협력을 통해 실시간 객체 감지, 추적 및 추적을 혁신하기 위한 선구적인 오픈소스 프레임워크인 FAn이 공개되었습니다. ‘Follow Anything: Open-set detection, tracking, and following in real-time’라는 제목의 팀의 논문은 기존 로봇 객체 추적 시스템의 한계를 제거할 것을 약속하는 시스템을 보여줍니다.
MIT, FAn으로 객체 추적을 위한 오픈셋 접근 방식의 장벽을 허물다
FAn이 해결하는 핵심 과제는 로봇 시스템의 새로운 객체에 대한 적응력입니다. 기존 시스템은 폐쇄형 구조에 묶여 미리 정의된 범주의 객체만 처리할 수 있습니다. FAn은 이 제약을 깨고 텍스트, 이미지 또는 클릭 쿼리 등의 입력을 통해 새로운 객체에 동적으로 적응할 수 있는 오픈셋 접근 방식을 도입하여 실시간으로 모든 객체를 감지, 분할, 추적 및 따를 수 있습니다.
다중 모달의 걸작: FAn의 ViT 모델과 실시간 처리의 융합
FAn의 주요 특징 중 하나는 텍스트 설명, 이미지, 쿼리 등 다양한 소스로부터 입력을 받을 수 있는 다중 모달 기능입니다. 연구자들은 최첨단 ViT(Vision Transformer) 모델을 독창적으로 결합하여 FAn이 실시간으로 데이터를 처리할 수 있도록 했습니다. 이 프레임워크의 다용도성은 로봇 공학, 특히 마이크로 항공 차량에서의 적용 가능성을 포함하여 실용적인 배포를 약속합니다.
FAn의 효율성에 중요한 것은 추적된 객체가 가려지거나 추적이 중단되는 상황을 처리하는 재감지 메커니즘입니다. 이는 이러한 상황에서 어려움을 겪는 기존 시스템을 넘어선 진전으로, 실제 시나리오에서 프레임워크의 견고성을 향상시킵니다.
연구팀은 FAn의 주요 목표를 로봇 시스템의 시야 내에 관심 객체를 유지하는 것으로 정의합니다. 이를 달성하기 위해서는 다양한 모델과 기술의 복잡한 조율이 필요합니다. Segment Anything Model(SAM)은 분할 작업을 수행하고, DINO 및 CLIP과 같은 모델은 자연어에서 시각적 개념을 효율적으로 흡수합니다. 경량화되면서도 효과적인 감지 및 의미론적 분할을 보장하기 위해 연구자들은 혁신적인_scheme(방식)를 고안했습니다. 또한 FAn은 실시간 객체 추적을 위해 (Seg)AOT 및 SiamMask와 같은 모델을 활용합니다. 주목할 만한 추가 사항은 정밀한 객체 추적을 위해 설계된 경량 시각 서보링 컨트롤러의 도입입니다.
FAn의 잠재력 공개: 제로샷 감지, 추적 및 실시간 성능
팀의 실험은 다양한 객체에 대한 FAn의 제로샷 감지, 추적 및 추적 능력을 보여주었습니다. 이 시스템은 연구 목표를 원활하게 준수하며 실시간 시나리오에서 효과적으로 수행할 수 있는 능력을 입증했습니다.
FAn의 기능적 함의는 매우 큽니다. 객체 추적을 위한 엔드투엔드 솔루션을 제공하는 FAn은 오픈셋 설계로 광범위한 객체 카테고리를 수용할 수 있습니다. 여기에 멀티모달 입력과 실시간 처리 능력이 결합되어 FAn은 새로운 환경에 적응할 수 있는 다재다능한 도구로 자리매김합니다. 또한 연구팀의 개방성 의지는 FAn 프레임워크를 오픈소스 리소스로 공개하기로 한 결정에서 잘 드러납니다. 이 조치는 다양한 실제 응용 분야에서 혁신과 협력을 촉진할 것으로 기대됩니다.
FAn 프레임워크를 탐색하고자 하는 분들은 프로젝트의 GitHub 저장소에서 코드를 확인할 수 있습니다. FAn의 설계, 구현 및 결과에 대한 포괄적인 통찰력은 arXiv에서 확인할 수 있는 연구 논문 "Follow Anything: Open-set detection, tracking, and following in real-time"에서 찾아볼 수 있습니다.
MIT와 하버드의 FAn 시스템은 로봇공학 및 객체 추적 분야에서 획기적인 진전을 의미합니다. 오픈셋 설계, 멀티모달 기능, 실시간 처리 능력, 그리고 새로운 환경에 대한 적응력은 기존 폐쇄형 시스템과 차별화되는 점입니다. FAn은 로봇 시스템이 달성할 수 있는 한계를 넓혀 혁신과 실용적 응용을 위한 새로운 길을 열었습니다. 오픈소스 프레임워크로 공개된 것은 기술 발전을 위한 협력적 접근을 의미하며, FAn 시스템은 로봇공학 분야에 중요한 기여를 하고 있습니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
란다 모세스
란다 모세스는 Cryptopolitan의 편집자이자 기자로, 기술, AI, 로봇공학, 암호화폐, 사기 및 해킹을 담당합니다. 그녀는 2017년부터 암호화폐 분야에서 활동해 왔으며, 포워드 프로토콜, 아마직스, 크립토소니아크에서 역할을 수행했습니다. 란다는 브래드포드 대학교에서 전기전자공학을 전공했습니다.
