Empresas de IA protestam contra a proibição da Cloudflare de bots de IA coletarem conteúdo por padrão

A Cloudflare, empresa de infraestrutura de internet responsável pelo roteamento de cerca de 20% do tráfego global da web, anunciou que começará a bloquear, por padrão, os rastreadores de inteligência artificial (IA).

A mudança, que entra em vigor nesta terça-feira, altera a forma como as empresas de IA poderão acessar o conteúdo hospedado na web, após pressão de editoras por maior controle e compensação pelos seus dados.

A rede de distribuição de conteúdo (CDN) ajuda os sites a armazenar em cache e fornecer dados mais próximos dos usuários. Com essa nova política, qualquer novo domínio que se inscrever nos serviços da Cloudflare será solicitado a decidir quando e se os bots de IA podem acessar seu conteúdo, ou poderá optar por bloquear completamente os scrapers.

Cloudflare lança ferramentas para controlar o acesso à IA

Essa mudança complementa as iniciativas anteriores da Cloudflare para dar aos editores mais controle sobre seus dados. No ano passado, a empresa lançou uma solução com um clique para bloquear todos os bots de IA conhecidos e um painel para monitorar a atividade dos rastreadores. Os proprietários de sites usam a ferramenta para distinguir entre rastreadores que coletam dados para treinamento de IA, para fins de pesquisa ou outros usos.

O anúncio de terça-feira formaliza essas proteções e as aplica por padrão. "Os rastreadores de IA têm coletado conteúdo sem limites. Nosso objetivo é devolver o poder aos criadores, ao mesmo tempo em que ajudamos as empresas de IA a inovar", disse o CEO da Cloudflare, Matthew Prince, em um comunicado divulgado hoje.

Segundo registros da empresa, o sistema Pay per Crawl da Cloudflare, base dessa iniciativa, é um mercado onde empresas de IA e proprietários de conteúdo podem concordar com a remuneração por acesso. 

Ambas as partes devem ter contas na Cloudflare e, uma vez configuradas, podem negociar preços e termos para atividades de rastreamento da web. A Cloudflare atua como intermediária na transação, cobrando da empresa de IA e repassando os ganhos para o editor.

Desenvolvedores de IA lamentam acesso limitado ao site

Diversos desenvolvedores de IA, incluindo OpenAI, empresa de inteligência artificial apoiada pela Microsoft e criadora do ChatGPT, recusaram-se a participar do programa. Em uma declaração pública recente, a empresa criticou duramente a Cloudflare por inserir um novo intermediário entre editores e desenvolvedores de IA. 

A OpenAI mencionou que tem um histórico de respeito ao protocolo robots.txt, um arquivo que permite aos operadores de sites controlar o acesso de rastreadores, e insistiu que respeita as preferências do site.

Em uma análise de junho, a Cloudflare afirma ter encontrado uma discrepância entre a frequência de coleta de dados e o tráfego de referência. O rastreador do Google, por exemplo, acessou sites 14 vezes para cada visita que retornou. Em comparação, o bot da OpenAI coletou dados dos sites 17.000 vezes para cada referência. 

O advogado britânico especializado em tecnologia, Matthew Holman, disse à CNBC que os rastreadores de IA podem ser intrusivos e potencialmente prejudiciais à experiência do usuário. 

“Eles foram acusados ​​de sobrecarregar sites e impactar significativamente a experiência do usuário”, disse. Holman acrescentou que, se o sistema da Cloudflare funcionar como previsto, poderá prejudicar a capacidade dos chatbots de IA de coletar e treinar com dados da web em larga escala. 

Editoras se unem em apoio à Cloudflare

Grandes empresas de mídia apoiam os esforços da Cloudflare para retomar o controle sobre o conteúdo digital. Editoras como TIME, Associated Press, Condé Nast, The Atlantic, Adweek e Fortune concordaram em bloquear bots de IA por padrão. 

Os meios de comunicação têm aceitado a coleta de dados de plataformas como o Google em troca de tráfego e receita publicitária. Mas o atual ecossistema impulsionado por IA não apresenta essa reciprocidade. Para muitos, plataformas de IA como ChatGPT e Claude consomem conteúdo sem gerar engajamento significativo ou receita para as fontes originais.

A Cloudflare afirma que continuará trabalhando com desenvolvedores para incentivar os rastreadores de IA que desejam ter permissão de acesso a divulgar suadent, finalidade e comportamento de rastreamento.

“O conteúdo original é o que torna a internet uma das maiores invenções do último século”, afirmou o CEO Matthew Prince. “Precisamos nos unir para protegê-lo.”