Microsoft совершила прорыв, преодолев ограничения роботов с помощью системы сенсорного управления

исследовательское подразделение Microsoftпредставилоновую систему управления роботами, которая позволяет машинамработатьруками, одновременно обрабатывая голосовые команды и физическую обратную связь. Система, получившая название Rho-alpha, знаменует собой выход компании на рынок базовых моделей роботов, использующих две руки одновременно.

Технология сначала станет доступна избранным группам пользователей в рамках программы раннего доступа, после чего Microsoft сделает её доступной на своей платформе Foundry. Затем компании смогут адаптировать систему к своим конкретным потребностям, используя собственные данные.

Добавление тактильных ощущений к интеллекту роботов

Заводы и склады ищут роботов, способных адаптироваться к меняющимся условиям, а не бесконечно повторять одни и те же запрограммированные движения. Больницам нужны машины, которыеподстраиваютсяпод разные ситуации. Производственные линии, где изделия различаются от партии к партии, создают проблемы, которые автоматизация старого типа не может эффективно решить. Компания Microsoft разработала Rho-alpha для решения этой задачи, обрабатывая данные, которые роботы видят и слышат, наряду с тем, что они физически ощущают с помощью датчиков.

робототехнических систем современных полагаются на камеры и микрофоны для понимания окружающей среды и выполнения инструкций. Rho-alpha добавляет еще один уровень, рассматривая тактильные ощущения как не менее важный фактор. Когда в захват робота встроены датчики давления, система получает информацию, которую камеры полностью упускают. Это важно при попытке подключить что-либо к разъему или соединить детали, когда одного взгляда недостаточно для того, чтобы определить, правильно ли все выравнивается.

Компания Microsoft продемонстрировала эти возможности, используя два манипулятора Universal Robots UR5e, оснащенных датчиками, которые определяют давление и контакт. Во время испытаний с набором задач под названием BusyBox люди давали роботу команды, например, положить поднос в ящик для инструментов и закрыть крышку. Система преобразовывала эти команды в скоординированные движения обоих манипуляторов и вносила корректировки на основе показаний датчиков. Когда попытки вставить вилку не удавались с первого раза, оператор мог направлять робота с помощью устройства 3D-ввода, и система обучалась на основе этих корректировок.

Получение достаточного количества обучающих данных остается самой большой проблемой при создании эффективных роботов. Языковые модели могут обучаться на огромных массивах текста, доступных в интернете, но для обучения роботов необходимы реальные физические демонстрации, запись которых требует времени и денег. Microsoft решила эту проблему, обучив Rho-alpha на трех типах информации: записях реальных физических демонстраций, смоделированных практических заданиях и больших наборах данных изображений с вопросами и ответами из интернета. Компания использует Nvidia Isaac Sim, работающую на серверах Azure, для создания реалистичных синтетических сценариев с помощью процесса обучения с подкреплением.

Данная имитационная модель позволяет создавать физически точные практические ситуации, дополняющие реальные демонстрации. Комбинированный подход позволяет моделиучитыватьнеобычные случаи и отказы, для моделирования которых в противном случае потребовались бы тысячи часов реальной эксплуатации.

Методика обучения следуетшаблонам,СистемаGeminiRoboticsот используемым другими компаниями в области робототехники. Google DeepMind, модель Helix для человекоподобных роботов от Figure AI и Pi-zero от Physical Intelligence используют схожие подходы для решения проблемы нехватки данных. Эта техника помогает этим системамосваиватьобщие навыки манипулирования без необходимости специальных демонстраций для каждой отдельной задачи, с которой они могут столкнуться.

Конкуренция на зрелом рынке

Microsoft присоединяется к робототехники, который значительно вырос за последние полтора года. Nvidia выпустила GR00T N1.6 , ориентированный на человекоподобных роботов, с упором на управление всем телом и понимание контекста. Google DeepMind расширила возможности Gemini в области робототехники, добавив функции от складывания бумаги в оригами до работы с игральными картами. Physical Intelligence представляет Pi-zero как универсальную систему, обученную для работы с различными типами роботов.

Rho-alpha выделяется тремяособенностями. Во-первых, акцент на тактильном восприятии решает задачи, с которыми сталкиваются системы, полагающиеся только на зрение. Во-вторых, модель основана на серии Phi от Microsoft, которую компания адаптировала для эффективной работы на обычном потребительском оборудовании. Этот опыт позволяет предположить, что она может работать на локальных устройствах без необходимости постоянного подключения к облачным серверам. В-третьих, ориентация на обучение на основе корректировок, вносимых человеком во время реальной работы, отличает её от моделей, требующих полной переподготовки для освоения новых моделей поведения.

Бизнес-подход Microsoft также отличается отподхода конкурентов. Компания планирует предлагать Rho-alpha через свою платформу Foundry в качестве инфраструктуры, которую производители и системные интеграторы смогут настраивать, используя собственную конфиденциальную информацию. Это перекликается с подходом компании к Azure OpenAI Service и ориентировано на организации, желающие создавать специализированные версии, а не использовать универсальную модель.

Для производителей и логистических компаний непосредственная возможность заключается в выявлении повторяющихся задач по обработке грузов, где существующая автоматизация не справляется . Станции контроля качества, операции по сборке комплектов товаров и мелкосерийные сборочные линии представляют собой ситуации, где сочетание распознавания языка и тактильных ощущений в Rho-alpha может сократить требования к программированию.

Программа раннего доступа, анонсированная Microsoft, предоставляет организациямвозможность ли система соответствует их потребностям, прежде чем инвестировать в инфраструктуру развертывания. Компаниям следует учитывать необходимость человеческого контроля при проведении этих оценок и планировать рабочие процессы, в которых операторы корректируют и направляют роботов в течение начальных периодов обучения.

Физический искусственный интеллект представляет собой переход от роботов как запрограммированных инструментов к роботам как гибким партнерам. Этот переход займет годы, а не месяцы, но базовые модели, разработанные Microsoft, Nvidia и Google, закладывают основные закономерности, которые определят defiкорпоративной робототехники на следующие десять лет.