新研究探索AI与人类聊天机器人的创造力

在最近发表在著名《科学报告》期刊上的一项研究中，研究人员使用替代用途任务（AUT）对人类参与者和人工智能（AI）聊天机器人的创造力进行了全面分析。这项研究为AI生成创造力的演变格局及其深远影响提供了宝贵的见解。

AI与人类创造力受到审视

生成式AI工具（包括Chat Generative Pre-Trained Transformer (ChatGPT) 和 MidJourney）的出现，引发了关于其对就业、教育以及AI生成内容相关法律方面影响的广泛讨论。传统上，创造力被视为一种具有原创性和实用性的独特人类特质。然而，这项研究挑战了这些长期存在的观念。

数据收集与审查

在这项研究中，研究人员通过在线平台Prolific招募了以英语为母语的人类参与者，收集了他们的AUT数据。在最初的310名参与者中，有256名勤奋的参与者（平均年龄30.4岁）被选中进行分析。这个多样化的群体主要由来自美国、英国、加拿大和爱尔兰等地区的全职员工或学生组成。

2023年，三款AI聊天机器人——ChatGPT3.5（ChatGPT3）、ChatGPT4和Copy.Ai——经历了11次不同的会话，涉及四个物体提示。这种严谨的方法确保了与广泛人类数据集的稳健比较。

AUT程序

AUT程序让参与者接触四个物体：绳子、盒子、铅笔和蜡烛，重点在于回应的原创性而非数量。人类在每个会话中只接受一次测试，而AI聊天机器人则参与多次会话，指令略有调整，以确保公平比较。

在分析之前，所有回答都经过拼写检查，任何模糊的简短回答都被排除。研究使用SemDis平台测量物体与其AUT回答之间的语义距离，以评估发散性思维。解决了回答中的潜在偏见，特别是AI使用“DIY”（自己动手做）等行话的情况，以确保一致性。

评分与深入分析

回答的原创性由六名不知晓回答是来自人类还是AI的人类评分员进行评分。每个回答都按照清晰的指南在1到5的范围内进行评估，以保持客观性。重要的是，这些集体评分表现出高度的一致性。

数据经过严格的统计分析，包括组别和物体等固定效应以及潜在的协变量。

研究的分析揭示了关于人类和AI聊天机器人创造性发散思维的有趣见解。值得注意的是，语义距离与人类主观评分之间出现了中度相关性，表明这两种评分方法捕捉到了相似的特质，尽管并不完全相同。

在人类与AI的广泛比较中，出现了一致的趋势。AI聊天机器人通常在语义距离方面优于人类，并实现了更高的平均和最高分数。当将流畅性作为协变量纳入考量时，注意到虽然它降低了平均分数，但增加了最高分数。 

这种模式也延伸到人类对创造力的主观评分中，AI在平均和最高分数方面始终优于人类。值得注意的是，AI聊天机器人始终提供非传统但合乎逻辑的物体用途，从未低于某个阈值。

对特定物体回应的比较

该研究探讨了人类和各个AI聊天机器人对特定物体（绳子、盒子、铅笔和蜡烛）的回应。结果显示，ChatGPT3和ChatGPT4这两款AI模型在平均语义距离分数方面优于人类。然而，在考虑最高分数时，人类参与者和AI聊天机器人之间没有统计学上的显著差异。对绳子的回应往往比其他物体获得更低的语义距离分数。

人类对创造力的主观评分显示，ChatGPT4 consistently 获得比人类和其他聊天机器人更高的评分，展示了其在该领域的优势。有趣的是，当聊天机器人被要求处理物体“铅笔”时，并未观察到这种优势。此外，与“蜡烛”相关的回应通常比其他物体获得的评分低。值得注意的是，对于“盒子”这一物体，ChatGPT3和ChatGPT4的各一次会话记录的最高分数高于任何人类。