Vaut-il la peine de bloquer les robots IA, ou devriez-vous les autoriser ?
- Les robots d’exploration IA parcourent le contenu sur l’ensemble du web, tout comme les robots des moteurs de recherche.
- Ils constituent une partie essentielle de la collecte de données pour l’entraînement des LLM, aux côtés d’autres sources.
- Autoriser ou bloquer l’accès d’un robot dépend des priorités de l’éditeur et des hypothèses concernant son impact.
Lorsqu'OpenAI a lancé son chatbot ChatGPT, il a également révélé son robot d'exploration web appelé GPTBot. Son robot fonctionne de la même manière qu'un robot Google, et les propriétaires de sites web peuvent bloquer ces robots d'accès à leurs sites web dans le fichier robots.txt. OpenAI a également donné accès pour bloquer leur bot. On dit qu'environ 48 % des sites web ont bloqué leur accès, selon une étude d'Originality.AI. Après cela, Google a également annoncé un robot Google-Extended séparé afin de permettre aux webmasters de bloquer leurs outils d'IA sans affecter leur robot de recherche.
Débat en cours sur les robots IA
Il y a un débat en cours depuis le lancement de ChatGPT sur la manière de tirer parti de cette capacité de bloquer certains des robots d'IA de l'accès aux sites. Il n'y a pas de réponse unique qui puisse satisfaire toutes les parties prenantes, car la discussion à ce sujet est persistante parmi les acteurs de l'industrie du SEO et presque toutes les publications en ligne. Il s'agit d'un sujet secondaire de savoir si le blocage de ces robots aura un impact pratique, car de nombreux services parcourent le web sans autorisation.
Un point qui soutient cette école de pensée est que le robot d'exploration d'OpenAI a été annoncé assez tard. L'entreprise peut avoir utilisé de nombreuses méthodes différentes pour obtenir des données, qu'elle appelle largement disponibles sur le web. Les préoccupations sont que les entreprises peuvent utiliser des robots sous différents noms et sous différents fournisseurs, donc si vous en bloquez un nouveau, vous ne pouvez pas récupérer les données qui ont déjà été digérées par eux.
Cela a facilité la tâche des sites scrapers pour produire du contenu à partir de ces robots qui sont entraînés sur vos données, celles produites par les humains.
Ils veulent votre contenu
Certains peuvent croire que les entreprises d'IA ne veulent pas de leur contenu, et qu'elles seront un jour capables de produire du contenu de la même qualité que le vôtre, alors c'est un problème très préoccupant pour les sites axés sur le contenu. Cela soulève également des questions sur l'efficacité et la pertinence des pratiques SEO que nous connaissons. Un autre problème sera qu'il y aura un grand nombre de sites produisant le même contenu. Ainsi, compte tenu de ces points, certaines industries peuvent bloquer les robots IA à grande échelle.
Les experts qui favorisent l'accès aux robots comme ChatGPT fondent leur argument sur le fait que le service n'est pas utilisé comme un moteur de recherche, mais comme un assistant, notamment pour la création de code, la traduction et également la création de contenu. Ils disent également que la part de marché de Bing n'a augmenté que de 1 % depuis son intégration de ChatGPT. Pour le moment, Google dit que son robot IA est séparé, mais nous ne savons pas ce qui se passera à l'avenir alors que Google va intégrer l'IA dans les résultats de recherche à l'avenir.
Les partisans affirment également que tout ne tourne pas autour des chatbots écrivant du contenu, mais que le point est que s'ils mentionnent le nom de votre marque, selon eux, la situation donne également à votre marque une exposition auprès d'un public plus large. De plus, si vous bloquez leur accès, vous empêchez vos idées d'être incluses dans l'entraînement des futurs LLM. Cependant, il est fort probable que, à l'avenir, des clones de marques et de produits soient générés par ces mêmes modèles, ce qui amplifiera finalement le problème des deepfakes.
La menace que les modèles d'IA posent pour le SEO et Google n'est pas celle d'un concurrent direct, mais celle d'un outil qui peut être utilisé pour créer du contenu à grande échelle. Cela est perturbateur pour la recherche, car cela créera des problèmes pour Google et Bing, et consommera le trafic qui aurait autrement été consommé par le contenu humain existant. Ainsi, à la fin, la décision d'autoriser ou non un bot dépend de la préférence d'un individu en tant que blogueur ou d'une entreprise en tant qu'éditeur, après avoir analysé leurs priorités.
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
