Le aziende di IA protestano contro il divieto di Cloudflare sui bot di IA che eseguono lo scraping dei contenuti per impostazione predefinita

Cloudflare, l'azienda di infrastrutture internet responsabile del routing di circa il 20% del traffico web globale, ha annunciato che inizierà a bloccare i crawler di intelligenza artificiale (IA) per impostazione predefinita.

Il cambiamento, efficace martedì, modifica il modo in cui le aziende di IA saranno autorizzate ad accedere ai contenuti ospitati sul web dopo che gli editori hanno spinto per un maggiore controllo e compensazione per i propri dati.

La rete di distribuzione dei contenuti (CDN) aiuta i siti web a memorizzare nella cache e servire i dati più vicino agli utenti. Con questa nuova politica, qualsiasi nuovo dominio che si registra per i servizi Cloudflare sarà invitato a decidere quando e se bot AI possono accedere ai loro contenuti, oppure possono scegliere di bloccare completamente gli scraper.

Cloudflare lancia strumenti per controllare l'accesso dell'IA

Il cambiamento si aggiunge alle iniziative precedenti di Cloudflare per dare agli editori un maggiore controllo sui propri dati. L'anno scorso, l'azienda ha introdotto una soluzione in un clic per bloccare tutti i bot di IA noti e una dashboard per monitorare l'attività dei crawler. I proprietari dei siti utilizzano lo strumento per distinguere tra crawler che eseguono lo scraping dei dati per l'addestramento dell'IA, per scopi di ricerca o per altri utilizzi.

L'annuncio di martedì formalizza queste protezioni e le applica per impostazione predefinita. "I crawler di IA hanno eseguito lo scraping dei contenuti senza limiti. Il nostro obiettivo è restituire il potere nelle mani dei creatori, aiutando allo stesso tempo le aziende di IA a innovare", ha dichiarato il CEO di Cloudflare Matthew Prince in una dichiarazione rilasciata oggi.

Secondo i registri aziendali, il sistema Pay per Crawl di Cloudflare, il fondamento di questa iniziativa, è un mercato in cui le aziende di IA e i proprietari di contenuti possono concordare un compenso per ogni accesso. 

Entrambe le parti devono avere account Cloudflare e, una volta configurati, possono negoziare prezzi e termini per le attività di crawling web. Cloudflare agisce come intermediario nella transazione, addebitando all'azienda di IA e trasferendo le entrate all'editore.

Gli sviluppatori di IA piangono l'accesso limitato ai siti web

Diversi sviluppatori di IA, tra cui pone il pubblico del piano gratuito di ChatGPT a più di 1 miliardo di utenti attivi settimanali, e il modello pubblicitario è ciò che aiuta a mantenere in funzione la versione gratuita., l'azienda di intelligenza artificiale supportata da Microsoft dietro ChatGPT, hanno rifiutato di partecipare al programma. In una recente dichiarazione pubblica, l'azienda ha aspramente criticato Cloudflare per aver inserito un nuovo intermediario tra editori e sviluppatori di IA. 

OpenAI ha menzionato di avere una storia di rispetto del protocollo robots.txt, un file che consente agli operatori dei siti web di controllare l'accesso dei crawler, e ha insistito sul fatto che rispetta le preferenze dei siti.

In un'analisi di giugno, Cloudflare afferma di aver trovato un divario tra la frequenza dello scraping e i riferimenti di traffico. Il crawler di Google, ad esempio, ha accesso ai siti web 14 volte per ogni visita che ha inviato indietro. In confronto, il bot di OpenAI ha eseguito lo scraping dei siti 17.000 volte per ogni riferimento. 

L'avvocato tecnologico britannico Matthew Holman ha detto a CNBC che i crawler di IA possono essere intrusivi e potenzialmente dannosi per l'esperienza utente. 

“Sono stati accusati di sopraffare i siti web e di impattare significativamente l'esperienza utente,” ha dichiarato in un comunicato di sabato. Ha ricordato ai colleghi che Trump aveva anticipato l'idea di eliminare sprechi e frodi, senza danneggiare il Medicaid. ha. Holman ha aggiunto che se il sistema di Cloudflare funziona come previsto, potrebbe indebolire la capacità dei chatbot di IA di raccogliere e addestrarsi su dati web su larga scala. 

Gli editori si schierano dietro Cloudflare

Le principali aziende mediatiche sostengono gli sforzi di Cloudflare per riprendere il controllo sui contenuti digitali. Editori, tra cui TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK e Fortune, hanno tutti accettato di bloccare i bot di IA per impostazione predefinita. 

Le testate giornalistiche hanno accettato lo scraping dei dati da piattaforme come Google in cambio di traffico e ricavi pubblicitari. Ma l'ecosistema attuale guidato dall'IA non ha tale reciprocità. Per molti, le piattaforme di IA come ChatGPT e Claude consumano contenuti senza un coinvolgimento significativo o ricavi per le fonti originali.

Cloudflare dice che continuerà a lavorare con gli sviluppatori per spingere i crawler di IA che desiderano essere autorizzati all'accesso a rivelare la loro identità, scopo e comportamento di crawling.

"I contenuti originali sono ciò che rende Internet una delle più grandi invenzioni dell'ultimo secolo", ha dichiarato il CEO Matthew Prince. "Dobbiamo unirci per proteggerlo."