Инновационный подход использует краудсорсинговую обратную связь для ускорения обучения роботов

Прорывной подход к обучению агентов искусственного интеллекта (ИИ), известный как Human Guided Exploration (HuGE), emerged как трансформирующий метод в исследованиях ИИ. Разработанный совместно исследователями из MIT, Гарвардского университета и Университета Вашингтона, HuGE позволяет агентам ИИ быстрее и эффективнее осваивать новые задачи с помощью помощи от неэкспертной человеческой обратной связи. Эта инновационная техника готова революционизировать то, как агенты ИИ приобретают новые навыки, делая возможным для роботов изучать сложные задачи самостоятельно с помощью краудсорсинговой обратной связи.

Вызовы в обучении ИИ

Обучение агентов ИИ выполнению новых задач обычно включает процесс, называемый обучением с подкреплением, где агент учится методом проб и ошибок, получая вознаграждения за действия, которые приближают его к заранее определенной цели. Во многих случаях человеческие эксперты должны тщательно разрабатывать функцию вознаграждения, механизм стимулирования, который мотивирует агента ИИ исследовать и действовать. Однако разработка этих функций вознаграждения может быть трудоемкой, неэффективной и сложной для масштабирования, особенно для сложных задач, включающих несколько шагов.

Краудсорсинговая обратная связь как решение

Подход HuGE вносит революционный сдвиг, используя краудсорсинговую обратную связь, собранную от пользователей-неэкспертов, для направления процессов обучения агентов ИИ. В отличие от традиционных методов, которые полагаются на функции вознаграждения, разработанные экспертами, HuGE позволяет агентам ИИ учиться быстрее, даже при работе с зашумленными данными от неэкспертов, чья обратная связь может содержать ошибки, которые могли бы нарушить другие методы.

Разделение процесса обучения

Исследователи, стоящие за HuGE, разделили процесс обучения на два отдельных компонента, каждый из которых управляется своим алгоритмом. Такой подход разделяет выбор цели и фазу исследования, позволяя агенту эффективно обучаться с помощью обратной связи от толпы. Два ключевых компонента HuGE следующие:

1. Алгоритм выбора цели: Эта часть подхода постоянно обновляется на основе обратной связи от пользователей-неэкспертов. Вместо использования обратной связи в качестве прямой функции вознаграждения, она направляет исследование агента. Пользователи предоставляют ввод, выбирая, какое состояние ближе к желаемой цели, позволяя агенту соответствующим образом корректировать свое исследование.

2. Исследование агента: Агент ИИ самостоятельно исследует свою среду, руководствуясь обратной связью от селектора целей. Он собирает данные, такие как изображения или видео своих действий, которые затем отправляются человеческим пользователям для дальнейшей обратной связи. Этот цикл сужает области исследования агента, направляя его к перспективным путям для достижения его цели.

Преимущества HuGE

HuGE предлагает несколько преимуществ по сравнению с традиционными методами обучения ИИ-агентов:

• Более быстрое обучение: Этот подход позволяет ИИ-агентам быстрее осваивать новые задачи, даже если обратная связь от человека содержит ошибки или неточности.
• Асинхронная обратная связь: HuGE позволяет собирать обратную связь асинхронно от пользователей-неэкспертов по всему миру, что делает ее масштабируемым и универсальным решением.
• Автономное обучение: Агенты могут продолжать обучаться автономно, даже при ограниченной или задержанной обратной связи, обеспечивая непрерывный прогресс.

Тестирование в реальных условиях и в симуляциях

Исследователи провели обширные тесты как на смоделированных, так и на реальных задачах, чтобы подтвердить эффективность HuGE. В симуляциях они успешно обучили ИИ-агентов выполнять сложные задачи с длинными последовательностями действий, такие как складывание блоков в определенном порядке или навигация в сложных лабиринтах. В экспериментах в реальных условиях обучали роботизированные руки рисовать фигуры и поднимать предметы, при этом данные собирались от пользователей-неэкспертов из 13 стран и трех континентов.

Масштабирование и будущие применения

Перспективные результаты HuGE и простота получения обратной связи от пользователей-неэкспертов свидетельствуют о большом потенциале для масштабирования обучения ИИ. В будущем этот метод может позволить роботам обучаться и выполнять конкретные задачи в домах пользователей без необходимости физических демонстраций. Полагаясь на обратную связь от толпы, роботы могут исследовать среду автономно, руководствуясь коллективным мнением неэкспертов.

Исследователи подчеркивают важность обеспечения того, чтобы ИИ-агенты соответствовали человеческим ценностям и этическим соображениям. По мере того как ИИ-агенты учатся и принимают решения самостоятельно, этические руководящие принципы и согласование ценностей имеют решающее значение для их безопасного и ответственного развертывания.

Будущие направления

Команда стремится дополнительно усовершенствовать подход HuGE. Они планируют обеспечить возможность обучения ИИ-агентов на основе различных форм коммуникации, таких как естественный язык и физическое взаимодействие с роботами. Кроме того, они исследуют возможность использования HuGE для одновременного обучения нескольких агентов, что открывает новые пути для совместного обучения ИИ.

Human Guided Exploration (HuGE) знаменует собой значительный шаг вперед в обучении ИИ, упрощая процесс обучения ИИ-агентов новым задачам. Используя коллективную мудрость пользователей-неэкспертов, HuGE ускоряет обучение, снижает потребность в функциях вознаграждения, разработанных экспертами, и прокладывает путь для автономного приобретения роботами сложных навыков. По мере развития области ИИ, HuGE служит доказательством потенциала совместного и направляемого толпой обучения в формировании будущего интеллектуальных агентов.