MIT研究人员开发自动化系统，教导用户何时与AI助手协作

MIT研究人员与MIT-IBM沃森AI实验室合作，开发了一种创新的自动化系统，旨在解决人机协作中的一个关键问题：用户何时应该信任AI助手的建议？该系统提供定制的入职流程，帮助用户确定何时依赖AI建议，何时保持谨慎。

定制的入职流程增强人机协作

研究团队的系统旨在帮助用户（如医疗专业人员或任何使用AI模型的人）学习何时与AI助手有效协作。它通过定制的入职流程实现这一目标，引导用户了解AI建议在特定情况下的可靠性。

该系统识别用户错误信任AI建议的情况，即使AI的预测是不正确的。然后，它自动学习协作规则，并在入职过程中用自然语言传达这些规则。这使得用户能够通过基于这些规则的训练练习练习与AI协作，并获得关于他们自身表现和AI表现的反馈。

结果：人机协作中的准确性得到提升

研究人员进行了测试，以评估其入职流程的有效性。结果显示，在图像预测任务中，当人类与人工智能协作时，准确性显著提高了5%，而相比之下，仅在未接受培训的情况下被告知何时信任人工智能的用户群体表现较差。

全自动学习系统

该系统的主要优势之一是其完全自动化。它根据特定任务中人类与人工智能交互产生的数据，学习创建量身定制的入职流程。此外，它还能适应不同的任务，使其成为人类与人工智能模型协作的各个领域（包括社交媒体内容审核、写作、编程以及重要的医疗领域）的通用工具。

解决AI培训中的空白

该研究论文的主要作者、麻省理工学院（MIT）的研究生Hussein Mozannar强调了向用户提供缺乏充分培训的人工智能工具这一关键问题。他强调，几乎每种其他工具都附带某种形式的教程，但人工智能工具往往缺乏这种必要的培训。研究人员旨在通过提供方法论和行为学方法，弥合这一空白，从而培训用户进行人机协作。

对医疗专业人士的影响

研究人员预计，入职流程将成为医疗专业人士培训的关键组成部分，这些专业人士将越来越多地依赖人工智能工具来做出关键决策。这种方法可能会重塑继续医学教育的交付方式，并影响临床试验的设计。

自动化入职：工作原理

与依赖人类专家为特定用例制作培训材料的现有入职方法不同，研究人员的系统从数据中自动学习。它遵循一系列步骤来创建定制的入职流程：

1. 数据收集： 系统在执行人工智能和人类执行特定任务（如检测图像中的物体）时收集数据。

2. 潜在空间表示： 收集的数据被嵌入潜在空间，将相似的数据点分组在一起。

3. 识别协作错误： 算法识别潜在空间中人类与人工智能协作错误的区域。这些区域代表人类信任人工智能预测但预测错误，反之亦然的情况。

4. 规则生成： 第二个算法使用大型语言模型用自然语言描述每个区域，并通过寻找对比示例迭代地微调这些规则。这些规则构成了训练练习的基础。

5. 训练练习：入职系统向用户展示示例（如图像和人工智能预测），并要求用户做出预测。如果用户的预测不正确，他们将收到正确答案和性能统计数据。

6. 为未来协作学习：通过这一过程，用户通过了解何时信任人工智能建议的规则，学习如何与人工智能有效协作。

入职流程的有效性

研究人员进行了涉及在模糊图像中检测交通信号灯以及回答来自各个领域的多项选择题等任务的测试。结果表明，在没有推荐的情况下，入职流程使交通灯预测任务的准确性提高了约5%，且未降低用户速度。然而，入职流程在问答任务中效果较差，这可能是由于人工智能模型在每次回答时都提供解释所致。

相比之下，仅提供推荐而不进行入职培训会对用户表现和决策速度产生负面影响。当仅给出推荐时，用户似乎难以应对，因为这打乱了他们的思维过程。

未来研究与扩展

研究团队计划进行更大规模的研究，以评估入职流程的短期和长期影响。他们还旨在利用未标记数据来增强入职流程，并探索减少无信息区域数量的方法，同时不排除关键示例。

华盛顿大学荣休教授Dan Weld强调，人工智能开发人员创建帮助用户辨别何时可以安全依赖人工智能建议的方法至关重要。麻省理工学院研究人员开发的自动化入职系统是实现这一目标的重要一步。

由麻省理工学院研究人员和麻省理工学院-IBM沃森人工智能实验室开发的自动化入职系统，为解决“用户何时应信任人工智能建议”这一挑战提供了有希望的解决方案。通过提供完全自动化、数据驱动且可适应的入职流程，该系统有望增强包括医疗保健、社交媒体、写作和编程在内的各个领域的人机协作。随着人工智能在决策过程中发挥越来越重要的作用，此类培训方法的重要性不言而喻。