Empresas bloqueiam Web Crawlers de IA, incluindo GPTBot, Impactando a Disponibilidade de Dados
- Os sites mais populares estão bloqueando cada vez mais os rastreadores web de IA, como o GPTBot, afetando o acesso aos dados para modelos de IA.
- O GPTBot da OpenAI enfrenta crescente oposição, com mais de 250 sites populares agora bloqueando-o.
- O CCBot do Common Crawl também está sendo bloqueado por quase 14% dos mil sites mais populares.
À medida que a procura por dados precisos para alimentar modelos de IA continua a aumentar, uma batalha crescente está a desenrolar-se na internet. As empresas estão a tomar medidas para proteger os seus dados dos web crawlers de IA, com o GPTBot da OpenAI e o CCBot do Common Crawl a enfrentar oposição crescente. Dados recentes revelam que mais de 250 sites líderes estão agora a bloquear o GPTBot, enquanto quase 14% dos sites mais populares também barraram o CCBot, impactando a disponibilidade de informações vitais para a formação de IA.
A batalha crescente contra os web crawlers de IA
Numa era dominada pela tomada de decisões baseada em dados e pela inteligência artificial, os bots de web crawling tornaram-se tanto ferramentas essenciais como fontes significativas de controvérsia. No mês passado, a OpenAI introduziu o GPTBot, que foi desenhado para respeitar o protocolo robots.txt de décadas, permitindo que os sites sinalizem o seu desejo de permanecer sem ser raspado. Inicialmente, aproximadamente 70 dos 1.000 sites mais importantes implementaram bloqueios contra o GPTBot, incluindo gigantes da internet como a Amazon e o Tumblr.
Descobertas recentes da Originality.ai revelam uma mudança significativa no cenário. Ao longo de apenas três semanas, o número de sites proeminentes a bloquear o GPTBot aumentou para mais de 250. Esta lista abrangente inclui plataformas bem conhecidas como Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People, e aparentemente todos os títulos publicados pela Hearst e Conde Nast. Até o weather.com juntou-se às fileiras daqueles que protegem o seu conteúdo do crawler de IA.
O desafio à acessibilidade de dados
O impulso por trás desta onda de bloqueios de web crawlers reside no papel crítico que os dados precisos desempenham na formação de poderosos modelos de IA generativa, como o GPT-4 da OpenAI. Estes modelos dependem fortemente de vastas quantidades de dados de texto, grande parte dos quais é obtida da internet, apesar de a maioria estar sujeita a direitos de autor ou ser propriedade de entidades específicas. A consciência desta prática aumentou nos últimos tempos, levando a numerosos litígios legais e à possibilidade de novas regulamentações governamentais.
Simultaneamente, muitas empresas estão a tomar medidas para proteger o seu conteúdo gerado por utilizadores e as suas atividades online. Através de atualizações nos seus termos de serviço e políticas de utilizador, as empresas de tecnologia estão a afirmar os seus direitos de acesso e utilização de dados de utilizadores para projetos e fins de formação de IA. Esta mudança de abordagem representa uma tendência mais ampla de proteção e soberania de dados, com as empresas a procurarem cada vez mais controlar como os seus dados são utilizados, particularmente por entidades alimentadas por IA.
O CCBot é outro alvo do bloqueio
Enquanto o GPTBot atraiu atenção significativa devido à sua associação com a OpenAI e o modelo GPT-4, outro web crawler, o CCBot, utilizado pelo Common Crawl, está a enfrentar a sua parte de resistência. O Common Crawl, uma organização baseada na Europa, passou anos a acumular vastas quantidades de dados web, incluindo conteúdo com direitos de autor, e a organizá-lo para uso como dados de formação para modelos de linguagem grandes como o Llama da Meta.
Até ao final de setembro, dados da Originality.ai indicam que quase 14% dos 1.000 sites mais populares implementaram bloqueios contra o CCBot. Esta lista inclui a Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker e The Atlantic, entre outros. É notável que muitos dos sites que bloqueiam o CCBot também estendem as suas restrições ao GPTBot, ilustrando a tendência crescente de salvaguardar dados de web crawlers de IA, independentemente das suas afiliações.
A batalha entre empresas que procuram proteger os seus dados e os web crawlers de IA em busca de material de formação continua a intensificar-se. O número crescente de sites a bloquear o GPTBot e o CCBot sublinha a importância crescente da acessibilidade e controlo de dados num mundo impulsionado por IA. À medida que o escrutínio legal e regulamentar aumenta, o equilíbrio entre a utilização de dados e a proteção de dados permanece um desafio crítico tanto para as empresas como para os desenvolvedores de IA.
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.
Aamir Sheikh
Aamir é um jornalista de tecnologia com quase seis anos de experiência nos setores de criptomoedas e tecnologia. Formou-se na MAJ University com um MBA em Finanças e Marketing. Atualmente trabalha na Cryptopolitan, onde relata os últimos desenvolvimentos nos mercados de criptomoedas e previsões de preços.
