Las empresas bloquean rastreadores web de IA, incluido GPTBot, afectando la disponibilidad de datos
- Los sitios web más importantes están bloqueando cada vez más a los rastreadores web de IA, como GPTBot, lo que afecta el acceso a datos para los modelos de IA.
- GPTBot de OpenAI enfrenta una creciente oposición, con más de 250 sitios populares ahora bloqueándolo.
- CCBot de Common Crawl también está siendo bloqueado por casi el 14% de los mil sitios web más populares.
A medida que la demanda de datos precisos para alimentar modelos de IA continúa aumentando, se está desarrollando una batalla creciente en internet. Las empresas están tomando medidas para proteger sus datos de los rastreadores web de IA, con GPTBot de OpenAI y CCBot de Common Crawl enfrentando una oposición creciente. Los datos recientes revelan que más de 250 sitios web líderes ahora están bloqueando GPTBot, mientras que casi el 14% de los sitios web más populares también han prohibido CCBot, afectando la disponibilidad de información vital para el entrenamiento de IA.
La batalla creciente contra los rastreadores web de IA
En una era dominada por la toma de decisiones basada en datos y la inteligencia artificial, los bots de rastreo web se han convertido tanto en herramientas esenciales como en fuentes significativas de controversia. El mes pasado, OpenAI presentó GPTBot, que fue diseñado para respetar el protocolo robots.txt de décadas de antigüedad, permitiendo que los sitios web señalen su deseo de permanecer sin ser raspados. Inicialmente, aproximadamente 70 de los 1.000 sitios web más importantes implementaron bloqueos contra GPTBot, incluyendo gigantes de internet como Amazon y Tumblr.
Hallazgos recientes de Originality.ai revelan un cambio significativo en el panorama. En un periodo de apenas tres semanas, el número de sitios web destacados que bloquean a GPTBot ha aumentado a más de 250. Esta lista exhaustiva incluye plataformas conocidas como Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People y aparentemente todos los títulos publicados por Hearst y Conde Nast. Incluso weather.com se ha unido a las filas de aquellos que protegen su contenido del rastreador de IA.
El desafío a la accesibilidad de los datos
El impulso detrás de esta oleada de bloqueos a rastreadores web radica en el papel crítico que desempeñan los datos precisos en el entrenamiento de potentes modelos de IA generativa, como GPT-4 de OpenAI. Estos modelos dependen en gran medida de grandes cantidades de datos textuales, gran parte de los cuales se obtienen de internet, a pesar de que la mayoría están sujetos a derechos de autor o pertenecen a entidades específicas. La conciencia sobre esta práctica ha aumentado en tiempos recientes, lo que ha llevado a numerosos litigios legales y la posibilidad de nuevas regulaciones gubernamentales.
Simultáneamente, muchas empresas están tomando medidas para proteger su contenido generado por usuarios y sus actividades en línea. A través de actualizaciones en sus términos de servicio y políticas de usuario, las empresas tecnológicas están asserting sus derechos para acceder y utilizar los datos de los usuarios para proyectos y entrenamientos de IA. Este cambio de enfoque representa una tendencia más amplia hacia la protección y soberanía de los datos, con empresas que buscan cada vez más controlar cómo se utilizan sus datos, especialmente por entidades impulsadas por IA.
CCBot es otro objetivo del bloqueo
Mientras que GPTBot ha atraído una atención significativa debido a su asociación con OpenAI y el modelo GPT-4, otro rastreador web, CCBot, utilizado por Common Crawl, está enfrentando su parte de resistencia. Common Crawl, una organización con sede en Europa, ha pasado años acumulando vastas cantidades de datos web, incluyendo contenido con derechos de autor, y organizándolos para su uso como datos de entrenamiento para modelos de lenguaje grandes como Llama de Meta.
A finales de septiembre, los datos de Originality.ai indican que casi el 14% de los 1.000 sitios web más populares han implementado bloqueos contra CCBot. Esta lista incluye Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker y The Atlantic, entre otros. Cabe destacar que muchos de los sitios web que bloquean a CCBot también extienden sus restricciones a GPTBot, ilustrando la creciente tendencia de salvaguardar los datos de los rastreadores web de IA, independientemente de sus afiliaciones.
La batalla entre las empresas que buscan proteger sus datos y los rastreadores web de IA en busca de material de entrenamiento continúa intensificándose. El creciente número de sitios web que bloquean GPTBot y CCBot subraya la importancia creciente de la accesibilidad y el control de los datos en un mundo impulsado por la IA. A medida que aumenta el escrutinio legal y regulatorio, el equilibrio entre la utilización de datos y la protección de datos sigue siendo un desafío crítico tanto para las empresas como para los desarrolladores de IA.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Aamir Sheikh
Aamir es un periodista tecnológico con casi seis años de experiencia en los sectores de criptomonedas y tecnología. Se graduó de la Universidad MAJ con un MBA en Finanzas y Marketing. Ahora trabaja con Cryptopolitan, donde informa sobre los últimos desarrollos en los mercados de criptomonedas y predicciones de precios.
