AI研究揭示语言模型中持续存在的种族偏见

由人工智能艾伦研究所、斯坦福大学和芝加哥大学的研究人员开展的一项研究揭示，包括OpenAI的GPT-4和GPT-3.5在内的流行大型语言模型（LLMs）中嵌入了种族偏见。

这项研究在arXiv预印本服务器上的一篇出版物中详细阐述，重点调查了这些大型语言模型 如何响应不同的方言和文化表达，特别是非裔美国人英语（AAE）和标准美国英语（SAE）。通过一系列实验，研究人员将AAE和SAE的文本文档输入AI聊天机器人，要求它们推断并评论作者。

结果令人震惊，揭示了AI模型响应中一致的偏见。AAE文本始终伴随着负面刻板印象，将作者描绘成具有攻击性、粗鲁、无知和可疑。相反，SAE文本引发了更积极的回应。这种偏见超出了个性特征的范畴，影响了职业能力和对法律地位的认知。

对各行各业和法律领域的影响

当被问及潜在职业时，聊天机器人将AAE文本与低薪工作或通常与非裔美国人相关的领域（如体育或娱乐）联系起来。此外，AAE文本的作者往往被认为更有可能面临法律后果，包括更严厉的刑罚，如死刑。

有趣的是，当被要求用一般术语描述非裔美国人时，回应是积极的，使用了“聪明”、“才华横溢”和“充满激情”等形容词。这种差异凸显了偏见的细微性质，即偏见会根据上下文选择性出现，特别是关于基于语言使用对个人行为或特征的假设。

研究还显示，语言模型越大，对非裔美国人英语文本作者的负面偏见就越明显。这一观察结果引发了人们对 AI系统中偏见可扩展性的担忧，表明仅仅增加语言模型的规模而不解决根本原因可能会加剧这一问题。

伦理AI开发的挑战

这些发现强调了伦理和无偏见AI系统开发面临的重大挑战。尽管技术进步并努力减轻偏见，但根深蒂固的偏见仍然渗透在这些模型中，反映并可能强化社会刻板印象。

研究强调持续警惕、多样化数据集和包容性训练方法的重要性，以创建公平服务于全人类的AI。它作为一个鲜明的提醒，强调在AI开发中全面解决偏见的迫切必要性，以确保所有个人的公平结果。

这项研究揭示了AI开发的一个关键方面，敦促利益相关者面对并解决偏见，以构建更加公正和公平的技术格局。