阻止AI机器人值得吗，还是应该允许它们访问？

当OpenAI推出其聊天机器人ChatGPT时，他们还公开了名为GPTBot的网络爬虫。其爬虫的工作方式与Google爬虫相同，网站所有者可以在robots.txt中阻止这些爬虫访问其网站。OpenAI也提供了阻止其机器人的选项。据Originality.AI的一项研究显示，约有48%的网站已阻止其访问。此后，Google还宣布了一个单独的Google-Extended机器人，以便网站管理员可以阻止其AI工具而不影响其搜索机器人。

关于AI机器人的持续争论

自ChatGPT发布以来，关于如何利用阻止某些AI机器人访问网站这一能力，一直存在持续争论。没有一种答案能令所有利益相关者满意，因为围绕这一话题的讨论在SEO行业从业者和几乎所有在线出版物中一直持续不断。关于阻止这些机器人是否会产生实际影响，这是一个次要话题，因为许多服务正在未经许可的情况下扫描网络。

支持这一观点的一个理由是，OpenAI的爬虫宣布得相当晚。该公司可能使用了多种方法来获取数据，他们称之为网络上广泛可用的数据。令人担忧的是，公司可以使用不同名称和不同供应商的机器人，因此如果您阻止了一个新机器人，您无法收回已被它们消化的数据。

这使得刮取网站更容易利用这些基于您的数据（即人类生产的数据）训练的机器人来生成内容。 

他们想要你的内容

有些人可能认为AI公司不想要他们的内容，并且它们有一天能够生产出与您同等质量的内容，这对于以内容为中心的网站来说是一个非常令人担忧的问题。这也引发了关于我们所熟知的SEO实践的有效性和相关性的问题。另一个问题是，将有许多网站生产完全相同的内容。因此，考虑到这些观点，某些行业可能会大规模阻止AI机器人。 

支持向ChatGPT等机器人提供访问权限的专家基于以下理由：该服务不是用作搜索引擎，而是用作助手，特别是用于代码创建、翻译和内容创建。他们还指出，自整合ChatGPT以来，Bing的市场份额仅增加了1%。目前，Google表示其AI机器人是独立的，但我们不知道未来会发生什么，因为Google计划在未来将AI整合到搜索结果中。

支持者还认为，这不仅仅是聊天机器人撰写内容的问题，关键在于如果它们提及您的品牌名称，据称这也会让您的品牌接触到更广泛的受众。此外，如果您阻止它们的访问，您就防止您的思想被纳入未来大型语言模型（LLM）的训练中。然而，未来这些模型极有可能生成品牌和产品的克隆体，这将最终加剧深度伪造问题。

AI模型对SEO和Google构成的威胁并非作为直接竞争对手，而是作为一种可以大规模创建内容的工具。这对搜索引擎具有颠覆性，因为它会给Google和Bing带来问题，并消耗原本会流向现有人类内容的流量。因此，最终是否允许机器人访问，取决于个人作为博主或出版商作为公司在分析其优先级后的偏好。