“思维链”提示有助于AI解决词汇谜题

AI是否拥有与人类相同的技能集，它们能否在词汇中找到细微的提示？纽约大学坦登工程学院的研究人员对《纽约时报》论文中提到的人们进行的第一项活动（参与每日Connections谜题）并不感到惊讶。

评估AI语言模型

调查揭示了一个有争议的问题，供即将举行的IEEE 2024米兰游戏研究会议分享可用和共同知识：现代自然语言处理（NLP）技术能否解决基于语言的谜题？ 

在CSE助理教授兼纽约大学坦登游戏创新实验室主任Julian Togelius的共同作者下，团队专注于两种AI方法——机器学习和高层表示学习。第一种利用了GPT-3.5和最新发布的GPT-4，这是具有开放领域和类人语言感知能力的杰出语言模型，来自OpenAI。

下一个机制依赖于句子嵌入模型，特别是BERT、RoBERTa、MPNet和MiniLM。这些模型将语义数据表示为向量表示，但缺乏LLMs的完整语言理解和生成技能。

然而，得出的结论是，虽然所有AI机器都能执行Connections涉及的一些任务，但挑战几乎难以克服。它在早期类别中往往优于其他类别，包括嵌入方法和GPT-3的显著成就。

这里的关键发现之一是，模型显示出与人类快速将谜题难度分类为“简单”到“具有挑战性”的能力非常接近。LLMs的使用频率越来越高，审查它们在Connections问题中失败的背景可以揭示自然语言语义处理的一般限制，游戏创新实验室的博士生、该研究的主要作者Graham Todd补充道。

用GPT-4突破界限

研究人员观察到，要求GPT-4通过零碎的方法解决谜题极大地增强了其解决谜题的能力，尤其是准确率刚刚超过39%的谜题。

正如先前研究所显示的那样，关于“思维链提示”用途的另一个证明，现在在我们的调查中得到了确认，即它导致词汇的结构化思维，正如游戏创新实验室的本科生、该摘要的作者之一Timothy Merino博士所述。通过让他们思考他们正在进行的相应工作，解决了语言模型更好地完成工作和得出结论的问题。研究人员使用了一个在线拼图档案，其中包含250个谜题，代表2023年6月12日至2024年2月16日的每日谜题。