Las empresas de inteligencia artificial protestan contra la prohibición de Cloudflare de que los bots de IA extraigan contenido de forma predeterminada

Cloudflare, la empresa de infraestructura de Internet responsable de enrutar aproximadamente el 20% del tráfico web global, ha anunciado que comenzará a bloquear los rastreadores de inteligencia artificial (IA) de forma predeterminada.

El cambio, que entró en vigor el martes, modifica la forma en que las empresas de inteligencia artificial podrán acceder al contenido alojado en la web después de que los editores presionaran para obtener más control y compensación por sus datos.

La red de entrega de contenido (CDN) ayuda a los sitios web a almacenar en caché y ofrecer datos más cerca de los usuarios. Con esta nueva política, a cualquier nuevo dominio que se registre en los servicios de Cloudflare se le solicitará que decida cuándo y si los bots de IA pueden acceder a su contenido, o bien, podrán bloquear los scrapers por completo.

Cloudflare lanza herramientas para controlar el acceso a la IA

Este cambio se suma a las iniciativas anteriores de Cloudflare para brindar a los editores mayor control sobre sus datos. El año pasado, la compañía introdujo una solución de un solo clic para bloquear todos los bots de IA conocidos y un panel para supervisar la actividad de los rastreadores. Los propietarios de sitios web utilizan esta herramienta para distinguir entre los rastreadores que extraen datos para entrenamiento de IA, búsquedas u otros usos.

El anuncio del martes formaliza esas protecciones y las aplica por defecto. «Los rastreadores de IA han estado extrayendo contenido sin límites. Nuestro objetivo es devolver el poder a los creadores, al tiempo que ayudamos a las empresas de IA a innovar», declaró Matthew Prince, CEO de Cloudflare, en un comunicado publicado hoy.

Según los registros de la empresa, el sistema de pago por rastreo de Cloudflare, la base de esta iniciativa, es un mercado donde las empresas de IA y los propietarios de contenido pueden acordar una compensación por acceso. 

Ambas partes deben tener cuentas de Cloudflare y, una vez configuradas, pueden negociar precios y condiciones para las actividades de rastreo web. Cloudflare actúa como intermediario en la transacción, cobrando a la empresa de IA y transfiriendo las ganancias al editor.

Los desarrolladores de IA lamentan el acceso limitado a los sitios web

Varios desarrolladores de IA, incluyendo OpenAI, la empresa de inteligencia artificial respaldada por Microsoft que está detrás de ChatGPT, han declinado participar en el programa. En una declaración pública reciente, la compañía criticó duramente a Cloudflare por insertar un nuevo intermediario entre los editores y los desarrolladores de IA. 

OpenAI mencionó que tiene antecedentes de respetar el protocolo robots.txt, un archivo que permite a los operadores de sitios web controlar el acceso de los rastreadores, e insistió en que respeta las preferencias del sitio.

En un análisis de junio, Cloudflare afirma haber encontrado una brecha entre la frecuencia de rastreo y las referencias de tráfico. El rastreador de Google, por ejemplo, accedió a sitios web 14 veces por cada visita que devolvió. En comparación, el bot de OpenAI raspó sitios 17 000 veces por cada referencia. 

Matthew Holman, abogado de tecnología con sede en el Reino Unido, dijo a CNBC que los rastreadores de IA pueden ser intrusivos y potencialmente dañinos para la experiencia del usuario. 

«Se les ha acusado de sobrecargar los sitios web y de afectar significativamente la experiencia del usuario», afirmó .Holman añadió que, si el sistema de Cloudflare funciona según lo previsto, podría limitar la capacidad de los chatbots de IA para recopilar y entrenarse con grandes volúmenes de datos web. 

Los editores se unen en apoyo a Cloudflare

Las principales empresas de medios de comunicación apoyan los esfuerzos de Cloudflare por recuperar el control del contenido digital. Editoriales como TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK y Fortune han acordado bloquear los bots de IA por defecto. 

Los medios de comunicación han estado aceptando la extracción de datos de plataformas como Google a cambio de tráfico e ingresos publicitarios. Sin embargo, el ecosistema actual impulsado por la IA no ofrece tal reciprocidad. Para muchos, plataformas de IA como ChatGPT y Claude consumen contenido sin generar interacción significativa ni ingresos para las fuentes originales.

Cloudflare dice que seguirá trabajando con los desarrolladores para impulsar a los rastreadores de IA que desean tener acceso a revelar sudent, propósito y comportamiento de rastreo.

“El contenido original es lo que convierte a internet en uno de los mayores inventos del siglo pasado”, declaró el director ejecutivo Matthew Prince. “Tenemos que unirnos para protegerlo”