AI模型在基于AI生成数据训练时会输出“胡言乱语”

大型语言模型（LLM）在基于 先前迭代的AI生成材料进行训练时，会产生缺乏实质内容和细微差别的输出，最新研究发现。这一发现为AI开发者带来了新的挑战，他们依赖有限的人类生成数据集来创建内容。

延伸阅读： AI深度伪造让美国当局难以保护儿童——报告

来自英国剑桥大学和牛津大学的人工智能研究人员试图仅基于包含AI生成内容的数据集编写提示词。结果并不理想，因为生成的回复令人费解。

AI仍需人类来赋予意义

该论文的作者之一、剑桥大学的 Zhakar Shumaylov 表示，需要为喂给大型语言模型 (LLM) 的数据进行质量控制，LLM 是像 ChatGPT 和谷歌 Gemini 这样的生成式 AI 聊天机器人背后的技术。Shumaylov 说：

“信息是，我们必须非常小心最终进入我们训练数据的内容。[否则，]事情总是会、可证明地出错”。

Shumaylov详细阐述了这种现象被称为“模型崩溃”。它已被证明会影响各种类型的人工智能模型，包括专门使用文本提示生成图像的模型。

根据 研究，在一个模型上使用 AI 生成数据进行重复文本提示最终产生了胡言乱语。例如，研究人员发现，一个用关于英国中世纪教堂塔楼的文本测试的系统，在仅九代之后就生成了重复的野兔列表。

加州大学计算机科学家Hany Farid在评论这些输出时，将数据崩溃比作动物近亲繁殖中固有的挑战。

“如果一个物种与其后代近亲繁殖且不多样化其基因库，可能导致该物种崩溃，”Farid说。

当研究人员将人类生成的数据注入AI数据时，与仅运行纯AI生成内容相比，崩溃发生得更慢。

研究人员：AI可能会加剧对少数群体的偏见

语言模型通过在海量文本中建立标记（单词或单词部分）之间的关联来工作，这些文本通常从互联网上抓取。它们通过吐出基于这些学习模式统计上最可能的下一个词来生成文本。

延伸阅读： 由ChatGPT驱动的泰迪熊Poe为孩子们读睡前故事

7月24日发表在《自然》杂志上的这项研究表明，数据集中提到几次的信息很可能不会重复。研究人员担心这可能会对已经边缘化的少数群体产生负面影响。

为了避免现实生活中的模型崩溃，该研究建议对AI生成内容和人类生成内容进行水印处理。但这也可能因竞争对手AI公司之间缺乏协调而成为问题。

该研究的发现正值人们激烈辩论AI是否会导致人类在内容创作（包括小说和报纸文章的撰写）中被完全排除在外。

该研究题为《AI模型在基于递归生成数据训练时崩溃》，其结果平息了这场辩论——人类尚未被排除在方程之外。