AI检测器停止工作：美国宪法案例研究

人工智能（AI）已经接管了现代生活，特别是在生成书面内容方面。虽然这看起来很有趣，但检测 AI 内容的不准确性令人担忧。更糟糕的是 AI 检测器 将人类撰写的内容标记为 GPT 生成；案例研究：美国宪法。

推荐阅读：Y Combinator 联合创始人保罗·格雷厄姆因声称包含“Delve”一词的文本由 AI 撰写而受到抨击

美国宪法写于 1787 年，1788 年批准，自 1789 年以来一直有效。它是世界上现存时间最长的政府书面宪章。宪法诞生于第一辆汽车发明前约一个世纪。然而，AI 检测器将其标记为 97.97% 由 AI 生成。

AI 检测器将美国宪法标记为非人类

2023 年，人工智能生成的内容有所增加。随后，市场开发人员抓住机会创建了检测器，以告知 AI 内容的百分比。这本应是一个良好的进步，但事实并非如此。

AI 检测器已将美国宪法标记为 AI 内容。百分比是多少？最终为 97.97%。“人工智能”一词是在 1950 年至 1956 年 AI 诞生期间创造并流行的。那么，AI 怎么可能写出一份比其发明早 163 年的文件呢？

1950 年，艾伦·图灵发表了一篇题为《计算机机器与智能》的期刊文章，提出了一种称为“模仿游戏”的机器智能测试。这篇文章标志着我们今天所生活的世界的开始。

1952 年，一位名叫亚瑟·塞缪尔的计算机科学家开发了一个程序来玩跳棋，这是第一个独立学习游戏的程序。不久之后，在 1955 年，约翰·麦卡锡在达特茅斯举办了一场关于“人工智能”的研讨会，这是该词的首次使用。

AI 检测器存在局限性

AI 检测器存在局限性，因为 AI 生成的文本模仿人类写作。这些检测器是由教导机器如何写作的人类训练的。那么，它们的 AI 检测器是如何工作的，准确性如何？另一个 AI 检测器在美国宪法中检测出 1% 的 AI 内容。这 1% 从何而来？

好吧，这里存在差异：一些 AI 检测器会寻找某些单词，如“delve（深入探究）、tapestry（挂毯）、utilize（利用）、numerous（许多）”等，这些词通常由 AI 使用，但美国人很少使用。 

然而，对于来自有英国殖民历史国家的一些人来说，这些词在口语和书面语中都很常见。

上个月，Y Combinator 联合创始人保罗·格雷厄姆因在 X（前 Twitter）上发表 ChatGPT 文本归属理论而受到抨击。格雷厄姆发布了一封他收到的项目冷邮件提案，他得出结论认为这是 AI 写作，因为它包含了“delve”一词。

一位 X 用户说，“在拥有英国殖民历史的国家学习英语的人——我们正是这样学习英语的……‘Delve’ 是我们口头使用的普通词汇。” 另一位用户则表示这是美国的问题。

一些国家和人仍然使用我会描述为“文学英语”的东西。

不幸的是，美国词汇主要基于口语（即你所说的俚语）和美国当代习语，以至于对……的复杂使用

—— Africa Research Desk (@MightiJamie) 10月 2024日

这就引出了一个问题：AI 检测器和内容生成器是否应该针对特定地区的英语？或者是否应该放弃所有这些写作工具和检测器？

AI 检测器不准确

AI 检测器依赖于不一致的语言特征。人类语言本质上具有可变性，拥有广泛的语言风格、方言和习语。AI 生成的文本可能落入这些变化范围内，使得检测器难以准确判断。

大约 20% 的 AI 生成文本通过这些检测系统而未被发现，削弱了 AI 检测器的可靠性。同样，大约 25% 的人类撰写文本被错误地标记为 AI。

一位 Quora 用户写道，“AI 检测器将我的作品检测为 100% AI 生成。因为我无知地应学术顾问的要求，将其作为编辑和语法工具使用。已发表作品中的词汇、概念和生活经验都是我的。我该怎么办？”

许多人对此问题表示沮丧。最近，在 Cryptopolitan 发布的一篇新闻文章中，一个 AI 生成器标记了唐纳德·特朗普说过的话。他说， “我对加密货币公司以及与此新兴行业相关的一切持非常积极和开放的态度。” ⁤AI 是如何添加到口语中的？是在人的脑海中吗？还是在表达的思想中？

其他内容来自 David Bailey：“⁤我们将动员起来保卫自己。⁤⁤我们投票给特朗普并非出于对他本人的支持，而是为了反对拜登。⁤⁤对此唯一应该负责的人是拜登。”

延伸阅读： 特朗普加密竞选活动——你需要知道的一切

2023 年，OpenAI 在一篇宣传博客文章中发布了给教育工作者的提示，展示了某些教师如何将 ChatGPT 用作教育辅助工具。  

在题为“AI 检测器有效吗？”的常见问题解答部分中，OpenAI 另一篇帖子中, “简而言之，没有。虽然一些（包括 OpenAI）发布了声称可以检测 AI 生成内容的工具，但这些工具都未能可靠地区分 AI 生成内容和人类生成内容。” 区分人类内容和 AI 内容的问题仍然存在。问题是：未来应该怎么做？

Cryptopolitan 报道，作者 Florence Muchai