彻底改变人工智能：Memoria释放Transformer的隐藏力量

在一项突破性发展中，韩国成均馆大学的研究人员公布了一种受赫布理论原则启发的新型记忆系统。这项尖端创新有望显著提高基于Transformer的机器学习模型的性能，特别是在涉及长数据序列处理的任务中。该研究发表在arXiv预印本服务器上，引入了“Memoria”，这是一种通用记忆网络，利用赫布理论来改善神经网络中的长期依赖关系。

虽然Transformer已被证明是处理序列数据的强大工具，但在处理更长序列时存在局限性。Transformer受限的存储容量阻碍了其有效处理扩展输入序列的能力，导致性能下降。与人类选择性记忆并利用输入中的相关信息不同，Transformer从头到尾处理所有原始数据，使其在处理长序列时效率较低。

Transformer的赫布记忆

研究人员Sangjun Park和JinYeong Bak的主要目标是设计一个能够克服这些局限性并赋予Transformer模型改进能力的系统。受赫布理论启发，该理论认为反复一起激活的神经元和细胞倾向于形成导致学习的关联，他们引入了Memoria。

“Memoria根据赫布规则变化的连接权重，在工作记忆、短期记忆和长期记忆的多个记忆层级中存储和检索称为印迹（engram）的信息，”

Park和Bak在他们的论文中解释道。

在一系列实验中，研究人员评估了其赫布记忆系统的有效性，结果非常令人鼓舞。Memoria 展示了其在处理长数据序列的各类任务中显著提升 Transformer 模型性能的能力。

“通过对 BERT 和 GPT 等流行的基于 Transformer 的模型进行实验，我们表明 Memoria 显著提升了在各种任务中考虑长期依赖关系的能力，”

研究人员报告称。

“结果显示，Memoria 在排序、语言建模和长文本分类方面优于现有方法。”

开源代码以促进更广泛的采用

为了促进更广泛的采用和合作，Park 和 Bak 开发的代码已开源，并在 GitHub 上公开可用。研究人员还使用独立的 Python 包部署了 Memoria，使其对全球开发者更加友好。这种开放获取的方式有望鼓励其他研究团队探索 Memoria 在提升其基于 Transformer 的模型性能方面的潜力。

由成均馆大学研究人员开发的突破性记忆架构有望在复杂任务中进行进一步探索，其潜在应用广泛。随着全球更多研究团队尝试Memoria，我们预计将涌现出更多强大且高效基于Transformer的机器学习模型。