Sitios web impiden a gigantes tecnológicos usar sus datos para capacitar a LLM

Recientemente se ha producido un cambio significativo. Los principales sitios web están empezando a proteger su contenido de gigantes tecnológicos como Google y OpenAI. Este paso modifica la relación tradicional entre los editores web y los motores de búsqueda. Este cambio se debe al auge de las tecnologías de inteligencia artificial (IA).

Los sitios web protegen su contenido

Tradicionalmente, los sitios web han utilizado una herramienta sencilla pero potente, conocida como «robots.txt», para gestionar la interacción de los motores de búsqueda con su contenido. Esta solución permitía a los sitios web beneficiarse del tráfico dirigido por estos. Sin embargo, los modelos avanzados de IA han añadido nuevas complejidades a esta relación. Empresas como OpenAI y Google han utilizado grandes cantidades de contenido en línea para entrenar sus sistemas de IA. Estas IA ahora pueden responder directamente a las consultas de los usuarios, reduciendo la necesidad de que visiten los sitios web originales. Interrumpen el flujo de tráfico de los motores de búsqueda a estos sitios.

En respuesta, Google ha introducido un nuevo protocolo llamado Google Extended. Este permite a los sitios web bloquear el uso de su contenido para entrenar modelos de IA. El protocolo se implementó en septiembre del año pasado y ha sido adoptado por alrededor del 10% de los 1000 sitios web más importantes. Esto incluye nombres de renombre como The New York Times y CNN.

Comparando la adopción y mirando hacia el futuro

Si bien Google Extended representa un avance hacia el control de los sitios web sobre su contenido, su tasa de adopción es inferior a la de otras herramientas como GPTBot de OpenAI. Esta reticencia podría deberse a la preocupación por su visibilidad en los resultados de búsqueda generados por IA en el futuro. Los sitios web que bloquean el acceso a su contenido corren el riesgo de ser ignorados por los modelos de IA y, potencialmente, no aparecer en las respuestas a consultas relevantes.

El caso de The New York Times es particularmente revelador. La publicación se vio envuelta en una disputa de derechos de autor con OpenAI. Desde entonces, ha adoptado una postura firme utilizando Google Extended para bloquear el acceso a su contenido mediante el entrenamiento de modelos de IA.  

La Experiencia Generativa de Búsqueda (SGE) experimental de Google sugiere un posible cambio en la forma en que se selecciona y presenta la información a los usuarios. Prioriza el contenido generado por IA frente a los métodos de búsqueda tradicionales. Las decisiones que toman las empresas tecnológicas y los editores web moldearán el ecosistema digital e influirán en cómo se accede y se consume la información en la era de la IA.