ПОСЛЕДНИЕ НОВОСТИ
ПОДОБРАНО ДЛЯ ВАС

Новая модель Google Gemini приносит ИИ на устройство в робототехнику

АвторКоллинс Дж. ОкотКоллинс Дж. Окот 3 мин. чтения
Gemini сокращает размер IPO до 425 млн долларов на фоне осторожности рынка
  • Компания Google представила новую языковую модель под названием Gemini Robotics On-Device.
  • Модель может выполнять задачи локально на роботах без необходимости подключения к интернету.
  • Технологическая компания заявляет, что производительность модели близка к уровню облачной модели Gemini Robotics в бенчмарках.

В вторник Google DeepMind представила новую языковую модель под названием Gemini Robotics On-Device. Компания сообщила, что модель способна выполнять задачи локально на роботах без подключения к интернету.

Новая модель, основанная на предыдущей модели Gemini Robotics AI компании, выпущенной в марте, позволяет управлять движениями робота. Google также отметила, что модель VLA (vision-language-action) достаточно мала и эффективна для запуска непосредственно на роботе. По словам компании, разработчики могут управлять и тонко настраивать модель с помощью естественных языковых запросов под различные задачи. 

Робототехника On-Device превосходит другие модели Google

Руководитель направления робототехники в Google DeepMind Каролина Парада подчеркнула, что оригинальная модель Gemini Robotics использует гибридный подход, позволяющий работать как на устройстве, так и в облаке. Она отметила, что с новой моделью, работающей только на устройстве, пользователи могут получать доступ к офлайн-функциям практически так же хорошо, как и к флагманской версии.

Технологическая компания заявляет, что модель демонстрирует результаты, близкие к уровню облачной модели Gemini Robotics в бенчмарках. Google также сообщила, что она превосходит другие режимы работы на устройстве в общих тестах, хотя не назвала эти модели. 

«Гибридная модель Gemini Robotics по-прежнему мощнее, но нас действительно удивила сила этой модели для работы на устройстве. Я бы рассматривал её как стартовую модель или как решение для приложений с плохим подключением к сети».

— Каролина Парада, руководитель направления робототехники в Google DeepMind.

На демонстрации показаны роботы, работающие с локальной моделью: они разворачивают пакеты и складывают одежду. Google признала, что хотя модель была обучена для роботов ALOHA, позже она была адаптирована для работы с двухручным роботом Franka FR3 и гуманоидным роботом Apollo от Apptronik.

Технологическая компания утверждает, что двухручный робот Franka FR3 успешно справился с задачами и объектами, которые он раньше не видел, например, с сборкой на промышленном конвейере. Компания упомянул что разработчики могут показать роботам от 50 до 100 демонстраций задач для обучения новым действиям с использованием моделей в физическом симуляторе MuJoCo. 

Google DeepMind также сообщила о выпуске набора инструментов разработки программного обеспечения под названием Gemini Robotics SDK. Компания сообщила его SDK для робототехники предоставляет полный набор инструментов жизненного цикла, необходимых для работы с моделями Gemini Robotics, включая доступ к контрольным точкам, развертывание модели, оценку модели на роботе и в симуляции, загрузку данных и её дообучение. Компания сообщила, что её модель Gemini Robotics для устройств на борту и соответствующий SDK будут доступны группе проверенных тестировщиков, пока Google продолжает работу по минимизации рисков безопасности.

Технологические компании присоединяются к гонке в области робототехники

Другие компании, использующие модели ИИ, также проявляют интерес к робототехнике. Nvidia создаёт платформу для разработки фундаментальных моделей для гуманоидов. Генеральный директор компании Дженсен Хуанг отметил, что создание фундаментальных моделей для универсальных гуманоидных роботов является одной из самых захватывающих задач в области ИИ сегодня.

Хуанг утверждал, что фактор гуманоида является одной из самых обсуждаемых тем в мире робототехники в настоящее время. Он признал, что это направление привлекает венчурный капитал огромными объёмами, одновременно вызывая значительный скептицизм. 

Nvidia также активно продвигает инновации в робототехнике через такие инициативы, как Isaac и Jetson. В марте прошлого года на своей ежегодной конференции разработчиков GTC компания присоединилась к гонке гуманоидов с проектом GROOT.

Nvidia назвала новую платформу универсальной базовой моделью для гуманоидных роботов. Компания заявила, что GROOT будет поддерживать новое оборудование от Nvidia. 

Hugging Face не только разрабатывает открытые модели и наборы данных для робототехники, но и работает над созданием роботов. Компания сообщила в начале этого месяца представила модель для робототехники под названием SmolVLA. 

Компания утверждает, что модель обучена на общедоступных наборах данных и превосходит значительно более крупные модели для робототехники как в виртуальных, так и в реальных средах. Hugging Face также сообщила, что SmolVLA призвана демократизировать доступ к моделям «зрение-язык-действие» (VLA) и ускорить исследования в области универсальных роботизированных агентов.

В прошлом году компания запустила LeRobot — набор моделей, наборов данных и инструментов, ориентированных на робототехнику. Недавно Hugging Face приобрела французский стартап Pollen Robotics и представила несколько недорогих роботизированных систем, включая гуманоидов, для покупки.

Самые умные крипто-энтузиасты уже читают нашу рассылку. Хотите присоединиться? Присоединяйтесь.

Поделиться статьёй
Коллинс Дж. Окот

Коллинс Дж. Окот

Коллинс Окот — журналист и аналитик рынка с 8-летним опытом освещения криптовалютной и технологической отраслей. Он является сертифицированным финансовым аналитиком (CFA) и имеет степень в области актуарной математики. Ранее Коллинс работал писателем и редактором в Geek Computer и CoinRabbit.

ЕЩЁ … НОВОСТИ