公司屏蔽 AI 网络爬虫，影响数据可用性

随着对用于训练 AI 模型的准确数据的需求不断上升，一场日益激烈的战斗在互联网上展开。公司正在采取措施保护其数据免受 AI 网络爬虫的侵害，OpenAI 的 GPTBot 和 Common Crawl 的 CCBot 面临越来越多的反对。最新数据显示，目前已有超过 250 家领先网站屏蔽了 GPTBot，而近 14% 的最受欢迎网站也禁止了 CCBot，影响了 AI 训练所需关键信息的可用性。

针对 AI 网络爬虫的斗争日益激烈

在这个由数据驱动决策和人工智能主导的时代，网络爬虫机器人既是必不可少的工具，也是争议的根源。上个月，OpenAI 推出了 GPTBot，旨在尊重几十年来的 robots.txt 协议，允许网站表明其希望不被抓取。最初，前 1,000 名网站中约有 70 个实施了针对 GPTBot 的屏蔽，其中包括亚马逊和 Tumblr 等互联网巨头。

Originality.ai 最近的发现揭示了一个重大转变。在短短三周内，屏蔽 GPTBot 的知名网站数量激增至 250 多家。这份综合名单包括 Pinterest、Vimeo、GrubHub、Indeed、Apartments.com、卫报、Live Science、今日美国、NPR、CBS 新闻、NBC 新闻、CNBC、纽约客、人物杂志，以及似乎由赫斯特和康泰纳仕出版的所有标题。甚至 weather.com 也加入了屏蔽其内容免受 AI 爬虫侵害的行列。

数据可访问性的挑战

这一波网络爬虫屏蔽背后的推动力在于准确数据在训练强大生成式 AI 模型（如 OpenAI 的 GPT-4）中的关键作用。这些模型严重依赖海量文本数据，其中大部分源自互联网，尽管其中大多数受版权保护或归特定实体所有。人们对这种做法的认识在近些年来激增，导致 numerous 法律纠纷和新政府监管的可能性。

同时，许多公司正在采取措施保护其用户生成内容和在线活动。通过更新其服务条款和用户政策，科技公司正在主张其访问和利用用户数据进行 AI 项目和训练的权利。这种方法的转变代表了更广泛的数据保护和主权趋势，公司越来越多地寻求控制其数据的使用方式，特别是由 AI 驱动实体的使用。

CCBot 也是封锁的目标

虽然 GPTBot 因其与 OpenAI 和 GPT-4 模型的关联而受到广泛关注，但另一个由 Common Crawl 使用的网络爬虫 CCBot 也面临着阻力。Common Crawl 是一家总部位于欧洲的组织，多年来积累了大量网络数据，包括受版权保护的内容，并将其整理为用于 Meta 的 Llama 等大型语言模型的训练数据。

截至 9 月下旬，Originality.ai 的数据显示，前 1,000 名最受欢迎网站中近 14% 已实施针对 CCBot 的屏蔽。这份名单包括亚马逊、Vimeo、Masterclass、凯利蓝皮书、纽约时报、纽约客和大西洋月刊等。值得注意的是，许多屏蔽 CCBot 的网站也将其限制扩展到 GPTBot，这表明无论其隶属关系如何，保护数据免受 AI 网络爬虫侵害的趋势正在增强。

寻求保护其数据的公司与致力于获取训练材料的 AI 网络爬虫之间的战斗仍在加剧。越来越多的网站屏蔽 GPTBot 和 CCBot，凸显了在 AI 驱动世界中数据可访问性和控制权日益重要。随着法律和监管审查的加强，数据利用与数据保护之间的平衡仍然是企业和 AI 开发者面临的关键挑战。