当 OpenAI 推出聊天机器人 ChatGPT 时，他们还发布了名为 GPTBot 的网络爬虫。 他们的抓取工具的工作方式与 Google 机器人相同，网站所有者可以在 robots.txt 中阻止这些抓取工具访问其网站。 OpenAI 还提供了阻止其机器人的访问权限。 Originality.AI 的一项研究显示，据说大约 48% 的网站已阻止其访问。 此后，谷歌还宣布了一个单独的谷歌扩展机器人，以便允许网站管理员阻止他们的人工智能工具而不影响他们的搜索机器人。
关于人工智能机器人的持续争论
自 ChatGPT 推出以来，关于如何利用这种阻止某些人工智能机器人访问网站的能力的争论一直存在。 没有一个答案可以让所有利益相关者满意，因为 SEO 行业参与者和几乎所有在线出版物都在持续讨论这个问题。 这是关于阻止这些机器人是否会产生任何实际影响的次要主题，因为许多服务在未经许可的情况下在网络上进行搜索。
支持这一观点的一点是，OpenAI 的爬虫发布得很晚。 该公司可能使用了许多不同的方法来获取数据，他们称之为通过网络广泛提供的数据。 令人担忧的是，公司可以以不同的名称和不同的供应商使用机器人，因此，如果你阻止一个新的机器人，你就无法取回已经被它们消化的数据。
这使得抓取网站更容易从这些机器人中大量生产内容，这些机器人是根据您的数据进行训练的，是人类生产的。
他们想要您的内容
有些人可能认为人工智能公司不想要他们的内容，有一天他们将能够制作出与你相同水准的内容，那么这对于以内容为中心的网站来说是一个非常令人担忧的问题。 这也引发了人们对我们已知的 SEO 实践的有效性和相关性的疑问。 另一个问题是会有大量网站产生完全相同的内容。 因此，考虑到这些点，一些行业可能会大规模阻止人工智能机器人。
赞成提供对 ChatGPT 机器人之类的访问权限的专家的论点是，该服务不用作搜索引擎，而是用作助手，特别是用于代码创建、翻译和内容创建。 他们还表示，自从集成 ChatGPT 以来，Bing 的市场份额仅增加了 1%。 目前，谷歌表示其人工智能机器人是独立的，但我们不知道未来会发生什么，因为谷歌将来会将人工智能集成到搜索结果中。
支持者还表示，这不仅仅是聊天机器人编写内容的问题，但重点是，如果他们提到你的品牌名称，据他们称，这种情况也会让你的品牌曝光给更广泛的受众。 此外，如果您阻止他们的访问，您的想法就无法被纳入未来法学硕士的培训中。 未来很有可能，这些相同的模型会产生品牌和产品的克隆，这最终将加剧深度造假问题tron
人工智能模型对 SEO 和谷歌构成的威胁不是直接竞争对手，而是可用于大规模创建内容的工具。 这对搜索来说是颠覆性的，因为它会给谷歌和必应带来问题，并且会消耗原本会消耗现有人类内容的流量。 因此，最终，是否允许机器人的决定取决于作为博客作者的个人或作为公司的出版商在分析他们的优先事项后的偏好。
在这里找到原始故事。
