最新新闻
为您推荐

科学家在论文“垃圾”激增中呼吁更严格的人工智能披露

作者Jai HamidJai Hamid 3 分钟阅读
在论文“垃圾”内容激增之际,科学家呼吁加强人工智能披露。

照片由 Solen Feyissa 拍摄于 Unsplash。

  • AI生成的论文和评论正涌入各大会议,损害着人们对科学研究的信任。

  • 研究发现,双位数的论文和评论现在严重依赖人工智能工具。

  • NeurIPS 和 ICLR 等会议正在收紧披露规则,并对低质量的人工智能使用进行处罚。

在人工智能研究界内部工作的科学家正面临一个他们无法再忽视的信誉问题。

在评审系统被大量低质量投稿堵塞后,专注于人工智能研究的主要会议做出了反应。

组织者看到,几乎无需人工努力即可产生的论文和同行评审数量急剧上升。令人担忧的不是风格,而是准确性。错误正渗入那些曾经需要精确性的领域。

随着低质量论文淹没审稿人,会议加强打击力度

研究人员早期警告称,不受限制地使用自动化写作工具可能会损害该领域。加州大学伯克利分校的人工智能研究人员Inioluwa Deborah Raji表示,局势迅速陷入混乱。

“令人有些讽刺的是,人们对人工智能塑造其他领域充满热情,而事实上,由于人工智能的广泛使用,我们自己的领域已经经历了这种混乱,”她说。

硬数据显示了问题的普遍程度。斯坦福大学于8月发布的一项研究发现,高达22%的计算机科学论文显示出大型语言模型使用的迹象。

文本分析初创公司Pangram审查了2025年国际学习表征会议(ICLR)的投稿和同行评审。它估计21%的评审完全由人工智能生成,而超过一半的评审使用人工智能进行编辑等任务。Pangram还发现,9%的投稿论文超过一半的内容以此方式生成。

11月,问题达到临界点。ICLR的审稿人标记了一篇疑似由人工智能生成的论文,尽管其审稿评分仍排名前17%。1月,检测公司GPTZero报告称,在NeurIPS会议上展示的50篇论文中发现了100多处自动化错误,NeurIPS被广泛视为该领域高级研究的首要会议。

随着担忧加剧,ICLR在会议前更新了其使用规则。未能披露广泛使用语言模型的论文现在面临被拒收的风险。提交由自动化生成的低质量评审的审稿人可能面临处罚,包括其 own 论文被拒。

加州大学伯克利分校计算机科学教授Hany Farid表示:“如果你发表的都是完全错误的低质量论文,社会凭什么信任我们作为科学家?”

论文数量激增,检测技术难以跟上

根据报告,NeurIPS在2025年收到21,575篇论文,高于2024年的17,491篇和2020年的9,467篇。一位作者在同一年提交了超过100篇论文,远超一名研究人员的典型数量。

俄勒冈州立大学荣休教授、arXiv计算机科学部分主席Thomas G. Dietterich表示,开放存储库的上传量也急剧上升。

然而,研究人员表示,原因并不简单。一些人认为,这一增长源于进入该领域的人数增加。另一些人则认为,人工智能工具的广泛使用起到了主要作用。由于缺乏识别自动化文本的统一标准,检测工作仍然困难重重。迪特里希指出,常见的警示信号包括捏造的参考文献和错误的数据。被发现从事此类行为的作者可能会被暂时禁止在arXiv上发表论文。

商业压力也在背后推波助澜。高调的演示、飙升的薪水以及激烈的竞争,迫使该领域的部分人员将重心放在数量上。拉吉表示,炒作时刻会吸引那些寻求快速成果的外行人士。

与此同时,研究人员表示,某些用途是合法的。迪特里希指出,来自中国的论文写作质量有所提高,这可能是因为语言工具帮助更清晰地重写英文。

这一问题现已超出出版领域。Google、Anthropic和OpenAI等公司将其模型宣传为研究合作伙伴,能够加速生命科学等领域的发现。这些系统是在学术文本上训练的。

法里德警告说,如果训练数据中包含过多合成材料,模型性能可能会下降。过去的研究表明,当大型语言模型被喂食未经筛选的自动化数据时,可能会崩溃并产生无意义的结果。

法里德表示,抓取研究数据的公司有强烈的动机去辨别哪些论文是人类撰写的。OpenAI科学主管凯文·威尔表示,这些工具仍需人工检查。“它可以是一个巨大的加速器,”他说,“但你必须进行检查。它并不能免除你对严谨性的要求。”

不要只是阅读加密货币新闻,要真正理解它。订阅我们的通讯。 免费。

分享本文
Jai Hamid

Jai Hamid

Jai Hamid在过去6年中一直报道加密货币、股票市场、科技、全球经济以及影响市场的地缘政治事件。她曾在专注于区块链的出版物工作,包括AMB Crypto、Coin Edition和CryptoTale,从事市场分析、大型公司、监管和宏观经济趋势的报道。她毕业于伦敦新闻学院,并三次在非洲顶级电视网络之一分享加密货币市场见解。

更多新闻…