Empresas de IA protestam contra a proibição da Cloudflare de bots de IA raspando conteúdo por padrão
- A Cloudflare agora bloqueará crawlers de IA por padrão, oferecendo aos proprietários de sites maior controle sobre como seu conteúdo é acessado e utilizado.
- A medida introduz um mercado “Pague por Crawl”, onde as empresas de IA devem compensar os editores para acessar os dados.
- As principais editoras apoiam a mudança, já que bots de IA, como o da OpenAI, rasparam extensivamente o conteúdo com pouco tráfego de retorno.
A Cloudflare, a empresa de infraestrutura da internet responsável por rotear cerca de 20% do tráfego web global, anunciou que começará a bloquear rastreadores de inteligência artificial (IA) por padrão.
A mudança, efetiva na terça-feira, altera a forma como as empresas de IA serão permitidas acessar conteúdo hospedado na web após os editores exigirem mais controle e compensação por seus dados.
A rede de entrega de conteúdo (CDN) ajuda os sites a armazenar em cache e servir dados mais perto dos usuários. Com esta nova política, qualquer novo domínio se inscrevendo para serviços da Cloudflare será solicitado a decidir quando e se robôs de IA pode acessar seu conteúdo, ou eles podem escolher bloquear os raspadores completamente.
Cloudflare lança ferramentas para controlar o acesso da IA
A mudança se soma às iniciativas anteriores da Cloudflare para dar mais controle aos editores sobre seus dados. No ano passado, a empresa introduziu uma solução de um clique para bloquear todos os bots de IA conhecidos e um painel para monitorar a atividade de rastreamento. Os proprietários de sites usam a ferramenta para distinguir entre rastreadores que raspam dados para treinamento de IA, fins de pesquisa ou outros usos.
O anúncio de terça-feira formaliza essas proteções e as aplica por padrão. “Os rastreadores de IA têm raspado conteúdo sem limites. Nosso objetivo é devolver o poder às mãos dos criadores, enquanto ainda ajudamos as empresas de IA a inovare”, disse o CEO da Cloudflare, Matthew Prince, em uma declaração divulgada hoje.
De acordo com os registros da empresa, o sistema Pay per Crawl da Cloudflare, a base desta iniciativa, é um mercado onde empresas de IA e proprietários de conteúdo podem concordar com a compensação por acesso.
Ambas as partes devem ter contas na Cloudflare e, uma vez configuradas, podem negociar preços e termos para atividades de rastreamento web. A Cloudflare atua como corretora na transação, cobrando da empresa de IA e repassando os ganhos ao editor.
Desenvolvedores de IA lamentam acesso limitado a sites
Vários desenvolvedores de IA, incluindo coloca a audiência do plano gratuito do ChatGPT em mais de 1 bilhão de usuários ativos semanais, e o modelo de publicidade é o que ajuda a manter a versão gratuita funcionando., a empresa de inteligência artificial apoiada pela Microsoft por trás do ChatGPT, recusaram-se a participar do programa. Em uma declaração pública recente, a empresa criticou a Cloudflare por inserir um novo intermediário entre editores e desenvolvedores de IA.
A OpenAI mencionou que tem um histórico de honrar o protocolo robots.txt, um arquivo que permite que operadores de sites controlem o acesso de rastreadores, e insistiu que respeita as preferências dos sites.
Em uma análise de junho, a Cloudflare afirma ter encontrado uma lacuna entre a frequência de raspagem e as referências de tráfego. O rastreador do Google, por exemplo, acessou sites 14 vezes para cada visita que enviou de volta. Em comparação, o bot da OpenAI raspou sites 17.000 vezes para cada referência.
O advogado de tecnologia britânico Matthew Holman disse à CNBC que os rastreadores de IA podem ser intrusivos e potencialmente prejudiciais à experiência do usuário.
“Eles foram acusados de sobrecarregar sites e impactar significativamente a experiência do usuário,” ele disse. Holman acrescentou que, se o sistema da Cloudflare funcionar como pretendido, poderia enfraquecer a capacidade dos chatbots de IA de coletar e treinar em dados web em grande escala.
Editores se unem em apoio à Cloudflare
As principais empresas de mídia estão apoiando os esforços da Cloudflare para recuperar o controle sobre o conteúdo digital. Editores, incluindo TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK e Fortune, concordaram em bloquear bots de IA por padrão.
As publicações têm aceitado a raspagem de dados de plataformas como o Google em troca de tráfego e receita de anúncios. Mas o ecossistema atual impulsionado por IA não tem tal reciprocidade. Para muitos, plataformas de IA como ChatGPT e Claude consomem conteúdo sem engajamento significativo ou receita para as fontes originais.
A Cloudflare diz que continuará a trabalhar com desenvolvedores para empurrar rastreadores de IA que desejam ter acesso permitido a divulgar sua identidade, propósito e comportamento de rastreamento.
“O conteúdo original é o que torna a Internet uma das maiores invenções do último século”, afirmou o CEO Matthew Prince. “Temos que nos unir para protegê-lo.”
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.
Florence Muchai
Florence cobre notícias sobre criptoativos, jogos, tecnologia e IA há 6 anos. Sua graduação em Estudos de Computação na Meru University of Science and Technology e em Gestão de Desastres e Diplomacia Internacional no MMUST equipam-na plenamente com habilidades linguísticas, de observação e técnicas. Florence trabalhou no VAP Group e como editora em várias casas de mídia de criptoativos.
