AI公司抗议Cloudflare默认禁止AI机器人抓取内容

负责路由全球约20%网络流量的互联网基础设施公司Cloudflare宣布，它将开始默认阻止人工智能（AI）爬虫。

这一变更将于周二生效，改变了AI公司被允许访问托管在网络上的内容的方式，此前出版商要求对其数据拥有更多控制权并获得补偿。

内容分发网络（CDN）帮助网站缓存数据并在更靠近用户的地方提供服务。根据这项新政策，任何新注册Cloudflare服务的域名都将被提示决定何时以及是否 AI 机器人 可以访问其内容，或者他们可以选择完全阻止抓取器。

Cloudflare推出控制AI访问的工具

这一变更增加了Cloudflare此前赋予出版商更多数据控制权的举措。去年，该公司推出了一键解决方案以阻止所有已知的AI机器人，并推出了一个仪表板来监控爬虫活动。网站所有者使用该工具来区分用于AI训练、搜索目的或其他用途的数据抓取爬虫。

周二的公告使这些保护措施正式化，并默认强制执行。"AI爬虫一直在无限制地抓取内容。我们的目标是将权力重新交还给创作者，同时仍帮助AI公司创新，”Cloudflare首席执行官马修·普林斯（Matthew Prince）在今天发布的一份声明中说。

根据公司记录，Cloudflare的“按次抓取付费”（Pay per Crawl）系统是该倡议的基础，这是一个AI公司和内容所有者可以就每次访问的补偿达成协议的 marketplace。 

双方都必须拥有Cloudflare账户，一旦设置完成，他们就可以就网络抓取活动的价格和条款进行谈判。Cloudflare在交易中充当经纪人，向AI公司收费并将收益转交给出版商。

AI开发者 lament 网站访问受限

包括 OpenAI在内的几位AI开发者，即微软支持的人工智能公司ChatGPT背后的公司，拒绝参与该项目。在最近的一份公开声明中，该公司猛烈抨击Cloudflare在出版商和AI开发者之间插入了一个新的中间商。 

OpenAI提到它有遵守robots.txt协议的历史，该文件允许网站运营商控制爬虫访问，并坚持认为它尊重网站偏好。

在6月的一份分析中，Cloudflare声称发现了抓取频率和流量推荐之间的差距。例如，Google的爬虫每发送一次访问，就会访问网站14次。相比之下，OpenAI的机器人每推荐一次，就会抓取网站17,000次。 

英国技术律师马修·霍尔曼（Matthew Holman）告诉CNBC，AI爬虫可能具有侵入性，并可能对用户体验造成潜在危害。 

“它们被指控使网站不堪重负，并显著影响用户体验”他在周六的一份声明中表示。他提醒同事们，特朗普曾提出消除浪费和欺诈的想法，同时不损害医疗补助。 表示。霍尔曼补充说，如果Cloudflare的系统按预期工作，它可能会削弱AI聊天机器人收集和训练大规模网络数据的能力。 

出版商支持Cloudflare

主要媒体公司支持Cloudflare重新掌控数字内容的努力。包括TIME、美联社、康泰纳仕、大西洋月刊、ADWEEK和Fortune在内的出版商都已同意默认阻止AI机器人。 

媒体机构一直在接受来自Google等平台的數據抓取，以换取流量和广告收入。但当前的AI驱动生态系统没有这种互惠性。对于许多人来说，像 ChatGPT 和Claude这样的AI平台在没有对原始来源产生有意义参与或收入的情况下消耗内容。

Cloudflare表示，它将继续与开发者合作，推动希望获得访问权限的AI爬虫披露其身份、目的和抓取行为。

“原创内容是使互联网成为上个世纪最伟大的发明之一的原因，”首席执行官马修·普林斯表示。“我们必须团结起来保护它。”