人工智能公司抗议 Cloudflare 默认禁止人工智能机器人抓取内容。

负责路由全球约 20% 网络流量的互联网基础设施公司 Cloudflare 宣布，将默认阻止人工智能 (AI) 爬虫。.

这项于周二生效的变更改变了人工智能公司访问网络内容的方式，此前出版商一直要求对其数据拥有更多控制权和补偿。.

内容分发网络 (CDN) 帮助网站缓存数据并将其更靠近用户提供。根据这项新政策，任何注册 Cloudflare 服务的新域名都将被提示决定何时以及是否 AI 机器人 访问其内容，或者可以选择完全阻止爬虫程序。

Cloudflare推出控制AI访问的工具

此次更新进一步强化了 Cloudflare 此前旨在赋予发布商更多数据控制权的举措。去年，该公司推出了一键式解决方案，可屏蔽所有已知的 AI 机器人，并提供了一个控制面板来监控爬虫活动。网站所有者可以使用该工具来区分爬虫抓取数据的目的是为了 AI 训练、搜索还是其他用途。.

周二的公告正式确立了这些保护措施，并默认启用。Cloudflare 首席执行官马修·普林斯在今天发布的一份声明中表示：“人工智能爬虫一直在无限制地抓取内容。我们的目标是将控制权交还给创作者，同时继续帮助人工智能公司进行创新。”

根据公司记录，Cloudflare 的按次付费抓取系统是这项计划的基础，它是一个人工智能公司和内容所有者可以就每次访问的报酬达成协议的市场。. 

双方都必须拥有 Cloudflare 账户，账户设置完成后，即可协商网络爬虫活动的价格和条款。Cloudflare 在交易中充当中间人，向人工智能公司收取费用，并将收益转给发布商。.

人工智能开发者对网站访问受限感到遗憾

多家 OpenAI人工智能开发商拒绝参与该计划。OpenAI 在最近的一份公开声明中猛烈抨击 Cloudflare，指责其在出版商和人工智能开发商之间引入了新的中间人。 

OpenAI 表示，它一直以来都遵守 robots.txt 协议（该文件允许网站运营者控制爬虫的访问权限），并坚称它尊重网站的偏好。.

Cloudflare 在六月份的一份分析报告中声称，他们发现抓取频率与流量来源之间存在差距。例如，谷歌的爬虫平均每次访问网站都会返回一个流量，而平均每次返回的流量却需要抓取网站 14 次。相比之下，OpenAI 的爬虫平均每次返回的流量却需要抓取网站 17,000 次。. 

英国科技律师马修·霍尔曼告诉 CNBC，人工智能爬虫可能会具有侵入性，并可能对用户体验造成损害。. 

“他们被指控对网站造成流量过载，严重影响用户体验，”他 说道。霍尔曼补充说，如果Cloudflare的系统按预期运行，可能会削弱人工智能聊天机器人收集和训练大规模网络数据的能力。 

出版商纷纷支持 Cloudflare

各大媒体公司都支持 Cloudflare 重新掌控数字内容的努力。包括《时代》周刊、美联社、康泰纳仕集团、《大西洋月刊》、《广告周刊》和《财富》杂志在内的出版商都已同意默认屏蔽人工智能机器人。. 

媒体机构一直以来都接受谷歌等平台的数据抓取，以此换取流量和广告收入。但如今的AI驱动型生态系统却缺乏这种互惠机制。对许多媒体而言，像 ChatGPT 和Claude这样的AI平台只是消费内容，而没有为原创内容带来任何有意义的互动或收益。

Cloudflare表示，将继续与开发者合作，推动希望获得访问权限的AI爬虫披露其dent、目的和爬取行为。.

“原创内容使互联网成为上个世纪最伟大的发明之一，”首席执行官马修·普林斯表示，“我们必须团结起来保护它。”