革命性的训练方法赋予 AI 像人类思维一样的泛化能力

在人工智能 (AI) 领域的一项突破性发展中，研究人员公布了一种新的训练协议，可以显著增强 AI 模型的泛化和理解信息的能力，使其更接近人类的学习和推理方式。这种创新方法挑战了“更多数据是提高机器学习的关键”的传统观念，为 AI 和人类认知的秘密提供了新的见解。

人类擅长理解和组合各种组件来理解世界，这种认知技能被称为“组合性”或“系统性泛化”。它使我们能够解码不熟悉的句子、创建原创响应，并理解单词和语法规则的潜在含义。实现组合性长期以来一直是 AI 开发人员的挑战，因为传统的神经网络难以模仿这一人类认知的基本方面。

虽然像 OpenAI 的 GPT-3 和 GPT-4 这样的当前生成式 AI 模型可以在某种程度上模仿组合性，但它们在某些基准测试中往往表现不佳，未能真正理解它们生成的句子的含义和意图。然而，最近发表在《自然》杂志上的一项研究表明，一种专注于神经网络如何学习的独特训练协议可能是解决这一挑战的关键。

重塑学习过程

该研究的作者采取了不同的方法来训练 AI，避免了创建全新 AI 架构的需要。相反，他们从标准的 Transformer 模型开始，这是 ChatGPT 和 Google 的 Bard 使用的相同基础架构，但没有任何先前的文本训练。关键的创新在于训练方案本身。

研究人员设计了一组任务，涉及一种由“dax”、“lug”、“kiki”、“fep”和“blicket”等无意义单词组成的虚构语言。这些单词与一组彩色圆点相关联，有些单词直接代表特定的圆点颜色，而其他单词则表示改变圆点输出的功能。例如，“dax”代表一个红点，而“fep”是一个函数，当与“dax”或其他符号单词结合时，将相应的圆点输出乘以三。至关重要的是，AI 没有收到关于这些关联的任何信息；研究人员只是提供了无意义句子的示例以及相应的圆点配置。

AI 实现类人理解

随着 AI 模型接受训练，它逐渐学会做出连贯的响应，遵循无意义语言的隐含规则。即使面对新颖的单词组合，AI 也展示了其“理解”语言发明规则并将其应用于以前未见过的短语的能力。这一非凡的壮举暗示了 AI 泛化的潜力，这是迈向类人推理的关键一步。

为了评估 AI 的性能，研究人员将其与人类参与者进行了比较。在某些情况下，训练有素的 AI 以 100% 的准确率做出响应，优于人类，人类的准确率约为 81%。即使 AI 犯错，它们也反映了人类常见的错误，突显了其类人推理的能力。

尤其值得注意的是，这一令人印象深刻的表现是通过一个相对较小的Transformer模型实现的，而非依赖海量数据集训练出的庞大AI模型。这一发现表明，与其用无尽的数据淹没机器学习模型，不如采取一种更聚焦的方法，类似于专门的语言学或代数课程，这可能会带来AI能力的显著提升。

影响和未来方向

尽管这种新颖的训练协议带来了令人鼓舞的结果，但必须承认其局限性。该AI模型在涉及虚构语言中模式识别的特定任务中表现出色，但在面对全新挑战或未练习过的泛化形式时却显得力不从心。因此，必须认识到，实现AI的有限泛化是一个重要步骤，但距离人工通用智能的终极目标仍有差距。

麻省理工学院（MIT）的计算机科学家Armando Solar-Lezama指出，这项研究可能为提升AI开辟新途径。通过专注于教导模型即使在合成任务中也能有效推理，我们或许能找到超越当前局限、增强AI能力的方法。然而，扩大这种新训练协议的规模可能会带来需要解决的挑战。

除了对AI的实际影响外，这项研究还可能揭示神经网络及其涌现能力的内部运作机制。理解这些过程有助于减少AI系统中的错误，并加深我们对人类认知的理解。