模块化智能体提升 AI 学习，增强决策能力和适应性

人类如何以及为何做出决策的问题已在各个学科中得到广泛研究。普林斯顿神经科学研究所的研究人员探索了机器学习中的决策制定，并提出了一种改进传统单智能体过程的方法。他们的研究展示了利用模块化多 AI 智能体系统增强的 AI 学习能力和适应性。

研究人员进行了一项研究，比较了单 AI 智能体系统和模块化多 AI 智能体系统中的强化学习方法。智能体在一个二维网格的生存游戏中接受训练，它们寻找隐藏的资源并旨在维持足够的供应水平。

单智能体与模块化智能体方法

在单智能体方法中，统一的“大脑”逐步自我评估每个目标，通过试错学习以确定最佳解决方案。另一方面，模块化智能体结合了子智能体的输入，每个子智能体都有 narrowly defined 的目标和独特的经验。子智能体的集体输入在一个“大脑”中进行评估，使智能体能够做出明智的选择。

冲突需求和目标的原则

研究人员将他们的方法与关于个人如何管理冲突需求和目标的长期辩论进行了比较。这种辩论在神经科学、心理学、经济学、社会学和人工智能等各种科学学科中普遍存在。模块化智能体设计反映了多个模块化智能体之间的竞争，类似于人类决策中冲突需求的管理方式。

研究结果表明，模块化智能体优于单智能体方法。模块化智能体学习速度显著更快，仅在 5,000 个学习步骤后就取得了显著进展，而单智能体需要 30,000 个步骤。模块化智能体在静态和变化环境中都表现出更优越的内部变量维护能力，更有效地维持稳态。子智能体的有限目标使它们能够更快地适应环境挑战。

AI 学习中的探索与适应

由一个子智能体确定的行动成为模块化智能体中其他智能体探索的来源。这促进了有价值行动的发现，否则在给定状态下可能不会被选择。相比之下，单体方法难以应对维度灾难，即随着环境复杂性的增加，选项呈指数级增长。模块化智能体作为具有有限目标的专家，专注于较小的个别任务，并迅速适应环境变化。

研究结果表明，以模块化方式设计智能体，为特定需求设立专门的子智能体，显著增强了智能体满足其整体目标的能力。模块化方法不仅提高了 AI 学习和决策能力，还为人类心理中固有的心理冲突提供了见解。

在 AI 系统中使用模块化智能体提供了一种更有效和适应性更强的决策和学习方法。通过利用冲突需求和目标的原则，模块化智能体表现出对变化环境的增强适应性。这些发现有助于更深入地理解人类决策过程，并为未来更智能和灵活的 AI 系统铺平道路。

在此阅读更多：Zack Dulberg 等人，《拥有多个自我有助于学习智能体在复杂变化的世界中探索和适应》，美国国家科学院院刊 (2023)。DOI: 10.1073/pnas.2221180120