AI 检测器仍然有效吗？

自 ChatGPT 等 AI 工具推出以来，“AI”一词已成为从教育到内容创作等各行业的热门话题。作家和学生现在面临新的挑战，需要证明他们的工作是 AI 生成的还是人类创作的。 

根据 Stastia 的统计数据，去年 2023 年 7 月，“AI”一词的搜索量超过 3040 万次，是前一个月的三倍。随着 AI 越来越普及， 教师和编辑不得不寻找替代方法来确定呈现给他们的文本是否由 AI 生成。这导致了 AI 检测器的兴起。

然而，许多作家和教育家对 AI 的真实性提出了质疑。其中一位是 TrustInsights.ai 的联合创始人 Christoper Pen，他在 LinkedIn 帖子 ，“ “AI 上表示，“检测器”是个笑话。 Pen 并不是唯一认为 AI 检测器不可靠的人。SEO 内容专家 Dianna Mason 表示 在一篇帖子中表示，“AI 内容检测器不起作用。”

根据 Reddit 上的另一篇帖子，一名用户表示，“是的，AI 检测器是个骗局。从未有学术论文证明 AI 检测器能够可靠工作。同样，也没有令人信服的理论框架说明可靠的 AI 检测器应如何运作。 “

几个备受关注的例子显示了 AI 检测器的低效。例如，一个检测器将 97.75% 的美国《独立宣言》误认为是 AI 生成的。 

在另一起事件中，圣经文本被发现是 AI 生成的。印度教经典《薄伽梵歌》也被 AI 误判。此类事件引发了对 AI 检测器可信度的严重质疑。

为了进一步调查 AI 检测器的有效性，我们用一段圣经文本测试了四种不同的检测器。结果差异很大

• Quilbott- 根据该网站的说法，所使用的摘录很可能 0% 不是 AI 生成的。
• Grammaly- Grammaly 也将该文本识别为 100% 人类撰写。
• Gpt Zero- 该网站给出的文本由人类撰写的概率为 96%。
• Zero Gpt- 这是我测试的最后一个网站，结果令人震惊，根据该网站的说法，该文本 96% 是 AI 撰写的。

AI 检测器的工作原理

AI 检测器，或 GPT 检测器，是旨在识别 AI 生成内容的系统。这些检测器比较文本的模式和单词排列方式，就像 LLM 处理文本一样。LLM 使用从数据中推断出的概率，并纯粹基于单词序列检测进行预测。AI 检测器利用这些概率来检测 AI 内容。 

AI 检测器主要使用两个指标，即困惑度（perplexity）和突发性（burstiness）。困惑度衡量下一个单词正确的概率，而突发性是单词和短语数量的变异性。虽然人类写作往往表现出更多的多样性，但 AI 生成的文本通常更加均匀。尽管如此，随着 GPT-4 等 AI 模型的进步，它们能够以更高的熟练程度复制人类写作，从而使检测更加困难。 

根据 Coachvox 创始人 Jodie Cook 的说法，“现在我们嘲笑 AI 生成的 LinkedIn 评论……但随着技术的进步，我们将无法分辨什么是真实的，什么是虚假的。没有人能分辨。 “

对于作家、学生和企业来说，风险很高。这就引出了一个问题：AI 检测器值得信赖吗？