Vale a Pena Bloquear Bots de IA ou Deveria Permiti-los?

Quando a OpenAI lançou seu chatbot ChatGPT, também revelou seu rastreador web chamado GPTBot. Seu rastreador funciona da mesma maneira que um bot do Google, e os proprietários de sites podem bloquear esses rastreadores de acessar seus sites no robots.txt. A OpenAI também deu acesso para bloquear seu bot. Diz-se que cerca de 48% dos sites bloquearam seu acesso, de acordo com um estudo da Originality.AI. Após isso, o Google também anunciou um bot separado chamado Google-Extended para permitir que webmasters bloqueiem suas ferramentas de IA sem afetar seu bot de busca.

Discussão em andamento sobre bots de IA

Há uma discussão em andamento desde o lançamento do ChatGPT sobre como tirar proveito da capacidade de bloquear alguns dos bots de IA de acessar sites. Não há uma resposta única que possa satisfazer todas as partes interessadas, pois a discussão em torno disso é persistente entre os jogadores da indústria de SEO e quase todas as publicações online. Este é um tópico secundário sobre se bloquear esses bots terá algum impacto prático, já que muitos serviços estão vasculhando a web sem permissão.

Um ponto que apoia essa escola de pensamento é que o rastreador da OpenAI foi anunciado bastante tarde. A empresa pode ter usado muitos métodos diferentes para obter dados, que eles chamam de amplamente disponíveis na web. As preocupações são que as empresas podem usar bots sob nomes diferentes e de diferentes fornecedores, então, se você bloquear um novo, não poderá recuperar os dados que já foram digeridos por eles.

Isso facilitou para sites de raspagem (scraper) produzirem conteúdo a partir desses bots que foram treinados nos seus dados, os produzidos por humanos. 

Eles querem o seu conteúdo

Alguns podem acreditar que as empresas de IA não querem o seu conteúdo e que um dia serão capazes de produzir conteúdo do mesmo calibre que o seu, então esta é uma questão muito preocupante para sites centrados no conteúdo. Isso também levanta questões sobre a eficácia e relevância das práticas de SEO que conhecemos. Outro problema será que haverá um grande número de sites produzindo exatamente o mesmo conteúdo. Então, considerando esses pontos, algumas indústrias podem bloquear bots de IA em larga escala. 

Especialistas que favorecem fornecer acesso a bots como o ChatGPT baseiam seu argumento no fato de que o serviço não é usado como um mecanismo de busca, mas sim como um assistente, especialmente para criação de código, tradução e também criação de conteúdo. Eles também dizem que a participação de mercado do Bing aumentou apenas 1% desde que integrou o ChatGPT. No momento, o Google diz que seu bot de IA é separado, mas não sabemos o que acontecerá no futuro, pois o Google vai integrar IA nos resultados de busca no futuro.

As pessoas a favor também dizem que não se trata apenas de chatbots escrevendo conteúdo, mas o ponto é que, se eles estão mencionando o nome da sua marca, de acordo com eles, a situação também dá à sua marca exposição a um público mais amplo. Além disso, se você bloquear o acesso deles, impede que seus pensamentos sejam incluídos no treinamento de futuros LLMs. No entanto, há uma forte possibilidade de que, no futuro, clones de marcas e produtos sejam gerados por esses mesmos modelos, o que acabará amplificando o problema dos deepfakes.

A ameaça que os modelos de IA representam para o SEO e o Google não é a de um concorrente direto, mas sim como uma ferramenta que pode ser usada para criar conteúdo em escala. Isso é disruptivo para a busca, pois criará problemas para o Google e o Bing, e consumirá o tráfego que, de outra forma, consumiria o já existente conteúdo humano. Então, no final, a decisão de permitir ou não um bot depende da preferência de um indivíduo como blogger ou de uma empresa como editora, após analisar suas prioridades.