Le aziende bloccano i crawler web AI, inclusi GPTBot, impattando la disponibilità dei dati
- I siti web più importanti bloccano sempre più i crawler AI come GPTBot, compromettendo l'accesso ai dati per i modelli di intelligenza artificiale.
- GPTBot di OpenAI incontra crescente opposizione: oltre 250 siti popolari lo stanno ora bloccando.
- Anche CCBot di Common Crawl è oggetto di blocchi da parte di quasi il 14% dei 1.000 siti web più popolari.
Man mano che la domanda di dati accurati per alimentare i modelli AI continua a crescere, si sta svolgendo una battaglia crescente su internet. Le aziende stanno prendendo misure per proteggere i propri dati dai crawler web AI, con GPTBot di OpenAI e CCBot di Common Crawl che affrontano un'opposizione crescente. Dati recenti rivelano che oltre 250 siti web leader stanno ora bloccando GPTBot, mentre quasi il 14% dei siti web più popolari ha anche bandito CCBot, impattando la disponibilità di informazioni vitali per l'addestramento dell'AI.
La battaglia crescente contro i crawler web AI
In un'era dominata dal processo decisionale basato sui dati e dall'intelligenza artificiale, i bot di web crawling sono diventati sia strumenti essenziali che fonti significative di controversia. Il mese scorso, OpenAI ha introdotto GPTBot, progettato per rispettare il protocollo robots.txt decennale, consentendo ai siti web di segnalare il desiderio di rimanere non scrapati. Inizialmente, circa 70 dei primi 1.000 siti web hanno implementato blocchi contro GPTBot, tra cui giganti di internet come Amazon e Tumblr.
Risultati recenti di Originality.ai rivelano un cambiamento significativo nel panorama. In appena tre settimane, il numero di siti web prominenti che bloccano GPTBot è aumentato a oltre 250. Questo elenco completo include piattaforme ben note come Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People e apparentemente tutti i titoli pubblicati da Hearst e Conde Nast. Anche weather.com si è unito a quelli che proteggono i propri contenuti dal crawler AI.
La sfida all'accessibilità dei dati
L'impulso dietro questa ondata di blocchi ai crawler web risiede nel ruolo cruciale che i dati accurati svolgono nell'addestramento di potenti modelli di AI generativa, come GPT-4 di OpenAI. Questi modelli fanno ampio affidamento su vaste quantità di dati testuali, gran parte dei quali proviene da Internet, nonostante la maggior parte di essi sia soggetta a copyright o di proprietà di entità specifiche. La consapevolezza di questa pratica è aumentata negli ultimi tempi, portando a numerose dispute legali e alla possibilità di nuove regolamentazioni governative.
Contemporaneamente, molte aziende stanno adottando misure per proteggere i contenuti generati dagli utenti e le attività online. Attraverso aggiornamenti ai termini di servizio e alle politiche per gli utenti, le aziende tecnologiche affermano i propri diritti di accesso e utilizzo dei dati degli utenti per progetti e addestramenti di AI. Questo cambiamento di approccio rappresenta una tendenza più ampia verso la protezione e la sovranità dei dati, con le aziende che cercano sempre più di controllare come i propri dati vengono utilizzati, in particolare da entità guidate dall'AI.
CCBot è un altro bersaglio del blocco
Mentre GPTBot ha attirato molta attenzione a causa della sua associazione con OpenAI e il modello GPT-4, un altro crawler web, CCBot, utilizzato da Common Crawl, sta affrontando la sua quota di resistenza. Common Crawl, un'organizzazione con sede in Europa, ha trascorso anni ad accumulare vaste quantità di dati web, inclusi contenuti protetti da copyright, e a organizzarli per l'uso come dati di addestramento per modelli linguistici di grandi dimensioni come Llama di Meta.
A fine settembre, i dati di Originality.ai indicano che quasi il 14% dei 1.000 siti web più popolari ha implementato blocchi contro CCBot. Questo elenco include Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker e The Atlantic, tra gli altri. È degno di nota che molti dei siti web che bloccano CCBot estendono le loro restrizioni anche a GPTBot, illustrando la crescente tendenza di proteggere i dati dai crawler web AI, indipendentemente dalle loro affiliazioni.
La battaglia tra le aziende che cercano di proteggere i propri dati e i crawler web AI alla ricerca di materiale di addestramento continua a intensificarsi. Il numero crescente di siti web che bloccano GPTBot e CCBot sottolinea l'importanza crescente dell'accessibilità e del controllo dei dati in un mondo guidato dall'AI. Mentre l'attenzione legale e normativa aumenta, l'equilibrio tra utilizzo dei dati e protezione dei dati rimane una sfida critica per aziende e sviluppatori AI.
Se stai leggendo questo, sei già avanti. Resta così con la nostra newsletter.
Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti effettuati sulla base delle informazioni fornite in questa pagina. Si consiglia vivamente di effettuare ricerche indipendenti e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Aamir Sheikh
Aamir è un giornalista tecnologico con quasi sei anni di esperienza nei settori delle criptovalute e della tecnologia. Si è laureato presso l'Università MAJ con un MBA in Finanza e Marketing. Attualmente lavora per Cryptopolitan, dove si occupa delle ultime novità sui mercati delle criptovalute e delle previsioni sui prezzi.
