Quando OpenAI ha lanciato il suo chatbot ChatGPT, ha anche presentato il suo web crawler chiamato GPTBot. Il suo crawler funziona allo stesso modo di un bot di Google e i proprietari di siti web possono impedire a questi crawler di accedere ai propri siti web tramite robots.txt. OpenAI ha anche fornito l'accesso per bloccare il suo bot. Secondo uno studio di Originality.AI, circa il 48% dei siti web ha bloccato l'accesso. Successivamente, Google ha anche annunciato un bot Google-Extended separato per consentire ai webmaster di bloccare i propri strumenti di intelligenza artificiale senza influire sul bot di ricerca.
Discussione in corso sui robot AI
Sin dal lancio di ChatGPT, si è aperto un dibattito su come sfruttare questa capacità di bloccare l'accesso ai siti da parte di alcuni bot basati sull'intelligenza artificiale. Non esiste una risposta univoca che possa soddisfare tutte le parti interessate, poiché il dibattito su questo tema è persistente tra gli operatori del settore SEO e quasi tutte le pubblicazioni online. È un argomento secondario l'eventuale impatto pratico del blocco di questi bot, poiché molti servizi stanno esplorando il web senza autorizzazione.
Un punto a sostegno di questa scuola di pensiero è che il crawler di OpenAI è stato annunciato piuttosto tardi. L'azienda potrebbe aver utilizzato molti metodi diversi per reperire i dati, che definiscono ampiamente disponibili sul web. Il problema è che le aziende possono utilizzare bot con nomi diversi e con fornitori diversi, quindi se ne blocca uno nuovo, non è possibile recuperare i dati che sono già stati elaborati da loro.
Ciò ha reso più facile per i siti di scraping produrre contenuti da questi stessi bot addestrati sui tuoi dati, quelli prodotti dagli esseri umani.
Vogliono i tuoi contenuti
Alcuni potrebbero credere che le aziende di intelligenza artificiale non vogliano i loro contenuti e che un giorno saranno in grado di produrre contenuti dello stesso calibro dei vostri, il che rappresenta un problema molto preoccupante per i siti incentrati sui contenuti. Questo solleva anche interrogativi sull'efficacia e la pertinenza delle pratiche SEO che conosciamo. Un altro problema sarà che ci sarà un gran numero di siti che produrranno esattamente gli stessi contenuti. Quindi, considerando questi punti, alcuni settori potrebbero bloccare i bot di intelligenza artificiale su larga scala.
Gli esperti favorevoli a fornire accesso a bot come ChatGPT basano la loro argomentazione sul fatto che il servizio non viene utilizzato come motore di ricerca, ma come assistente, in particolare per la creazione di codice, la traduzione e la creazione di contenuti. Affermano inoltre che la quota di mercato di Bing è aumentata solo dell'1% da quando ha integrato ChatGPT. Al momento, Google afferma che il suo bot basato sull'intelligenza artificiale è separato, ma non sappiamo cosa accadrà in futuro, poiché Google integrerà l'intelligenza artificiale nei risultati di ricerca.
Chi è a favore sostiene inoltre che non si tratta solo di chatbot, ma che, se menzionano il nome del tuo marchio, ciò contribuisce a dare maggiore visibilità al brand presso un pubblico più ampio. Inoltre, bloccando il loro accesso, si impedisce che le proprie idee vengano utilizzate per la formazione di futuri partecipanti ai LLM. Tuttavia, esiste anchetronpossibilità che in futuro questi stessi modelli generino cloni di marchi e prodotti, amplificando ulteriormente il problema dei deepfake.
La minaccia che i modelli di intelligenza artificiale rappresentano per la SEO e Google non è rappresentata dalla loro diretta concorrenza, ma dalla loro capacità di creare contenuti su larga scala. Questo è un problema dirompente per la ricerca, poiché creerà problemi a Google e Bing e consumerà il traffico che altrimenti consumerebbe i contenuti umani. Quindi, alla fine, la decisione se consentire o meno l'utilizzo di un bot dipende dalle preferenze di un singolo individuo, in quanto blogger, o di un editore, in quanto azienda, dopo aver analizzato le proprie priorità.
