- MIT とハーバード大学は、あらゆるものをリアルタイムで追跡するための FAn システムを開発しました。
- FAn は ViT モデルを組み合わせ、テキスト、画像、クリックを用いて物体を追跡します。遮蔽物に対処でき、空中ロボットでも動作します。
- FAn は多様な物体に対応し、高速で新しいタスクにも即座に適応可能です。コードと論文はオンラインで公開されています。
マサチューセッツ州ケンブリッジ — 画期的な協力のもと、マサチューセッツ工科大学（MIT）とハーバード大学の研究者たちは、リアルタイムの物体検出、追跡、追従を革命化する革新的なオープンソースフレームワーク「FAn」を発表しました。チームの論文「Follow Anything: Open-set detection, tracking, and following in real-time」は、既存のロボティクス物体追従システムの限界を解消することを約束するシステムを示しています。
MITがFAnで障壁を打破：物体追従のためのオープンセットアプローチ
FAnが取り組む核心的な課題は、ロボティクスシステムが新しい物体に適応する能力です。従来のシステムはクローズドセット構造に制限されており、事前に定義された範囲の物体カテゴリしか処理できません。FAnはこの制約に逆らい、リアルタイムで任意の物体を検出、セグメンテーション、追跡、追従できるオープンセットアプローチを導入します。特筆すべきは、テキスト、画像、またはクリッククエリなどの入力を通じて、新しい物体に動的に適応できる点です。
マルチモーダルの驚異：FAnのViTモデルとリアルタイム処理の融合
FAnの重要な機能の一つは、テキストの説明、画像、クエリなど多様なソースからの入力に対応するマルチモーダル機能です。研究者たちは、最先端のViT（Vision Transformer）モデルを巧みに統合し、FAnがリアルタイムでデータを処理可能にしました。このフレームワークの汎用性はロボティクス、特にマイクロエアビークルへの適用にも広がり、実用的な展開を約束しています。
FAnの効率性にとって重要なのは、追跡対象が遮蔽されたり追跡が中断されたりした場合に対応する再検出メカニズムです。これは、そのようなシナリオで苦労する既存のシステムに対する進歩であり、現実世界のシナリオにおけるフレームワークの堅牢性を高めています。
研究チームは、FAnの主要な目的を、関心のある物体をロボティクスシステムの視野内に保つことと定義しています。これを実現するには、さまざまなモデルや技術の複雑な調整が必要です。Segment Anything Model（SAM）はセグメンテーションタスクを担当し、DINOやCLIPなどのモデルは自然言語から視覚的概念を効率的に取り込みます。軽量かつ効果的な検出とセマンティックセグメンテーションを確保するため、研究者たちは革新的なスキームを考案しました。さらに、FAnはリアルタイムの物体追跡のために(Seg)AOTやSiamMaskなどのモデルを活用します。注目すべき追加要素として、精密な物体追跡のために設計された軽量ビジュアルサーボ制御コントローラーの導入があります。
FAnの可能性を明らかに：ゼロショット検出、追跡、およびリアルタイムパフォーマンス
チームの実験は、多様な物体に対するFAnのゼロショット検出、追跡、追従における卓越した能力を示しました。システムは研究目標をシームレスに遵守し、リアルタイムのシナリオで効果的に機能する能力を実証しました。
FAnの機能のインパクトは大きいです。物体追従のためのエンドツーエンドソリューションを提供するFAnのオープンセット設計は、広範な物体カテゴリを受け入れることを可能にします。これにマルチモーダル入力とリアルタイム処理の熟練さが加わり、FAnは新しい環境への適応力を備えた多用途ツールとしての地位を確立しています。さらに、研究チームのオープンネスへのコミットメントは、FAnフレームワークをオープンソースリソースとして公開するという決定に表れています。この動きは、多くの現実的なアプリケーションにおいてイノベーションとコラボレーションを促進することが期待されています。
FAnフレームワークを探求したい方は、プロジェクトのGitHubリポジトリでコードにアクセスできます。FAnの設計、実装、結果に関する包括的な洞察は、arXivで入手可能な研究論文「Follow Anything: Open-set detection, tracking, and following in real-time」で見つけることができます。
MITとハーバード大学のFAnシステムは、ロボティクスと物体追跡の分野における画期的な一歩を表しています。そのオープンセット設計、マルチモーダル機能、リアルタイム処理能力、および新しい環境への適応力は、従来のクローズドセットシステムとは一線を画しています。ロボティクスシステムが達成できることの境界を押し広げることで、FAnはイノベーションと実用的なアプリケーションのための新たな道を開きます。オープンソースフレームワークとして公開されることは、技術の進展に向けた協調的なアプローチを示しており、FAnシステムはロボティクス分野への重要な貢献となっています。
これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。
免責事項。 ここに提供される情報は取引助言ではありません。 Cryptopolitan.com 当社は、このページに提供される情報に基づいて行われたいかなる投資に対しても責任を負いません。いかなる投資判断を下す前に、独立した調査および/または資格を有する専門家への相談を強く推奨します。
ランダ・モーゼス
ランダ・モーゼスはCryptopolitanのエディター兼記者で、テクノロジー、AI、ロボティクス、暗号資産、詐欺、ハッキングなどを担当しています。2017年以来暗号資産分野で活動しており、Forward Protocol、AmaZix、Cryptosomniacで役職を務めました。ブラッドフォード大学で電気電子工学の学位を取得しています。
