创新方法利用众包反馈加速机器人学习

一种被称为“人类引导探索”（HuGE）的创新人工智能（AI）代理教学方法，已成为 AI 研究中变革性的方法。由麻省理工学院、哈佛大学和华盛顿大学的研究人员合作开发的 HuGE，能够借助非专家的人类反馈，使 AI 代理更快、更有效地学习新任务。这项创新技术有望彻底改变 AI 代理获取新技能的方式，使机器人能够在众包反馈的指导下独立学习复杂任务。

AI 训练面临的挑战

训练 AI 代理执行新任务通常涉及一种称为强化学习的过程，其中代理通过试错进行学习，并为使其更接近预定目标的行为获得奖励。在许多情况下，人类专家必须精心设计奖励函数，这是一种激励 AI 代理探索和采取行动的动力机制。然而，设计这些奖励函数可能耗时、低效且难以扩展，特别是对于涉及多个步骤的复杂任务。

众包反馈作为解决方案

HuGE 方法通过利用从非专家用户那里收集的众包反馈来指导 AI 代理的学习过程，引入了革命性的转变。与依赖专家设计的奖励函数的传统方法不同，HuGE 允许 AI 代理更快地学习，即使在使用来自非专家的嘈杂数据时也是如此，非专家的反馈可能包含会破坏其他方法的错误。

解耦学习过程

HuGE 背后的研究人员将学习过程分为两个不同的部分，每个部分都由其算法驱动。这种方法将目标选择与探索阶段解耦，使代理能够利用众包反馈高效学习。HuGE 的两个关键组成部分如下：

1.目标选择器算法：这种方法的部分内容会根据非专家用户的反馈不断更新。它不是将反馈用作直接奖励函数，而是指导智能体的探索。用户通过选择哪个状态更接近所需目标来提供输入，从而允许智能体相应地调整其探索。

2. 智能体探索： AI智能体在目标选择器的反馈指导下独立探索其环境。它收集数据，例如其动作的图像或视频，然后发送给人类用户以获取进一步反馈。这个循环缩小了智能体的探索区域，将其引向实现目标的有希望的路径。

HuGE 的优势

与传统方法相比，HuGE 为训练 AI 代理提供了多项优势：

• 更快的学习速度：即使人类反馈包含错误或 inaccuracies，该方法也能使 AI 代理更快地学习新任务。
• 异步反馈：HuGE 允许从全球各地的非专家用户处异步收集反馈，使其成为一种可扩展且多功能的解决方案。
• 自主学习：即使反馈有限或延迟，代理也能继续自主学习，确保持续进步。

现实世界与模拟测试

研究人员在模拟和现实世界的任务上进行了广泛测试，以验证 HuGE 的有效性。在模拟中，他们成功训练 AI 代理执行具有长动作序列的复杂任务，例如按特定顺序堆叠积木或穿越复杂的迷宫。现实世界的实验涉及训练机械臂绘制形状和拾取物体，数据来自 13 个国家和三大洲的非专家用户。

扩展与未来应用

HuGE 的积极成果以及获取非专家反馈的便利性表明，它在扩大 AI 训练规模方面具有巨大潜力。未来，这种方法可以使机器人无需物理演示即可在用户家中学习和执行特定任务。通过依靠众包反馈，机器人可以在非专家的集体输入指导下自主探索。

研究人员强调确保 AI 代理与人类价值观和伦理考量保持一致的重要性。随着 AI 代理独立学习和做出决策，伦理准则和价值观对齐对于其安全和负责任地部署至关重要。

未来方向

该团队旨在进一步完善 HuGE 方法。他们计划使 AI 代理能够从各种形式的通信中学习，例如自然语言和与机器人的物理互动。此外，他们正在探索同时使用 HuGE 训练多个代理的可能性，为协作式 AI 学习开辟新途径。

“人类引导探索”（HuGE）标志着 AI 训练的重大飞跃，简化了教授 AI 代理新任务的过程。通过利用非专家用户的集体智慧，HuGE 加速了学习过程，减少了对专家设计的奖励函数的需求，并为机器人自主获取复杂技能铺平了道路。随着 AI 领域的不断发展，HuGE 证明了协作式和众包引导式学习在塑造智能代理未来方面的潜力。