Lorsque OpenAI a lancé son chatbot ChatGPT, ils ont également révélé leur robot d'exploration Web appelé GPTBot. Leur robot d'exploration fonctionne de la même manière qu'un robot Google, et les propriétaires de sites Web peuvent empêcher ces robots d'accéder à leurs sites Web dans le fichier robots.txt. OpenAI a également donné accès au blocage de leur bot. On estime qu’environ 48 % des sites Web ont bloqué leur accès, selon une étude d’Originality.AI. Après cela, Google a également annoncé un robot Google-Extended distinct afin de permettre aux webmasters de bloquer leurs outils d'IA sans affecter leur robot de recherche.
Discussion en cours sur les robots IA
Depuis le lancement de ChatGPT, il y a eu un débat continu sur la manière de tirer parti de cette capacité à empêcher certains robots IA d'accéder aux sites. Il n’existe pas de réponse unique qui puisse satisfaire toutes les parties prenantes, car le débat à ce sujet est persistant parmi les acteurs de l’industrie du référencement et dans presque toutes les publications en ligne. Il s’agit d’un sujet secondaire quant à savoir si le blocage de ces robots aura un impact pratique, car de nombreux services parcourent le Web sans autorisation.
Un point qui conforte cette école de pensée est que le robot d'exploration d'OpenAI a été annoncé assez tard. L’entreprise a peut-être utilisé de nombreuses méthodes différentes pour obtenir des données, qu’elle considère largement disponibles sur le Web. Le problème est que les entreprises peuvent utiliser des robots sous des noms différents et sous des fournisseurs différents, donc si vous en bloquez un nouveau, vous ne pouvez pas récupérer les données qu'elles ont déjà digérées.
Cela a permis aux sites de grattage de produire plus facilement du contenu à partir de ces mêmes robots formés sur vos données, celles produites par l'homme.
Ils veulent votre contenu
Certains peuvent croire que les sociétés d'IA ne veulent pas de leur contenu et qu'elles seront un jour capables de produire du contenu du même calibre que le vôtre, c'est donc un problème très préoccupant pour les sites centrés sur le contenu. Cela soulève également des questions sur l’efficacité et la pertinence des pratiques SEO que nous avons connues. Un autre problème sera qu’il y aura un grand nombre de sites produisant exactement le même contenu. Ainsi, compte tenu de ces points, certaines industries peuvent bloquer les robots IA à grande échelle.
Les experts favorables à l'accès à des robots comme ChatGPT fondent leur argument sur le fait que le service n'est pas utilisé comme moteur de recherche, mais comme assistant, notamment pour la création de code, la traduction et également la création de contenu. Ils affirment également que la part de marché de Bing n'a augmenté que de 1 % depuis l'intégration de ChatGPT. Pour le moment, Google affirme que son robot IA est distinct, mais nous ne savons pas ce qui se passera à l'avenir, car Google intégrera l'IA dans les résultats de recherche à l'avenir.
Les gens en faveur disent également qu'il ne s'agit pas uniquement de chatbot , mais le fait est que s'ils mentionnent le nom de votre marque, selon eux, la situation donne également à votre marque une visibilité auprès d'un public plus large. De plus, si vous bloquez leur accès, vous empêchez que vos pensées soient incluses dans la formation des futurs LLM. Cependant, il est tout aussi tron possible qu’à l’avenir, des clones de marques et de produits soient générés par ces mêmes modèles, ce qui finirait par amplifier le problème des deepfakes.
La menace que les modèles d'IA représentent pour le référencement et Google n'est pas en tant que concurrent direct mais en tant qu'outil pouvant être utilisé pour créer du contenu à grande échelle. Cela perturbe la recherche, car cela créera des problèmes pour Google et Bing, et consommera le trafic qui autrement consommerait le contenu humain déjà existant. En fin de compte, la décision d’autoriser ou non un bot dépend de la préférence d’un individu en tant que blogueur ou d’un éditeur en tant qu’entreprise après avoir analysé ses priorités.
Retrouvez l'histoire originale ici .
