Les entreprises d'IA protestent contre l'interdiction par Cloudflare des robots d'IA récupérant du contenu par défaut
- Cloudflare bloquera désormais par défaut les robots d'exploration d'IA, offrant aux propriétaires de sites plus de contrôle sur l'accès et l'utilisation de leur contenu.
- Cette mesure introduit un marché « Payez au crawl » où les entreprises d'IA doivent rémunérer les éditeurs pour accéder aux données.
- Les principaux éditeurs soutiennent ce changement, car des robots d'IA comme ceux d'OpenAI ont massivement effectué du scraping de contenu avec peu de trafic en retour.
Cloudflare, l'entreprise d'infrastructure internet responsable du routage d'environ 20 % du trafic web mondial, a annoncé qu'elle commencerait à bloquer les robots d'intelligence artificielle (IA) par défaut.
Ce changement, effectif mardi, modifie la manière dont les entreprises d'IA seront autorisées à accéder au contenu hébergé sur le web, après que les éditeurs ont réclamé plus de contrôle et de compensation pour leurs données.
Le réseau de diffusion de contenu (CDN) aide les sites web à mettre en cache et à servir les données plus près des utilisateurs. Avec cette nouvelle politique, tout nouveau domaine s'inscrivant aux services de Cloudflare sera invité à décider quand et si de bots IA peuvent accéder à leur contenu, ou ils peuvent choisir de bloquer les robots de récupération de données (scrapers) complètement.
Cloudflare lance des outils pour contrôler l'accès de l'IA
Ce changement s'ajoute aux initiatives antérieures de Cloudflare visant à donner aux éditeurs plus de contrôle sur leurs données. L'année dernière, l'entreprise a introduit une solution en un clic pour bloquer tous les robots d'IA connus et un tableau de bord pour surveiller l'activité des robots. Les propriétaires de sites utilisent l'outil pour distinguer les robots qui récupèrent des données pour l'entraînement de l'IA, à des fins de recherche ou pour d'autres utilisations.
L'annonce de mardi formalise ces protections et les applique par défaut. «Les robots d'IA récupéraient du contenu sans limites. Notre objectif est de redonner le pouvoir aux créateurs, tout en aidant toujours les entreprises d'IA à innover», a déclaré Matthew Prince, PDG de Cloudflare, dans un communiqué publié aujourd'hui.
Selon les registres de l'entreprise, le système Pay per Crawl de Cloudflare, fondement de cette initiative, est un marché où les entreprises d'IA et les propriétaires de contenu peuvent convenir d'une compensation par accès.
Les deux parties doivent avoir des comptes Cloudflare, et une fois configurés, elles peuvent négocier les prix et les conditions pour les activités de récupération de données web. Cloudflare agit en tant qu'intermédiaire dans la transaction, facturant l'entreprise d'IA et reversant les gains à l'éditeur.
Les développeurs d'IA regrettent l'accès limité aux sites web
Plusieurs développeurs d'IA, y compris OpenAI, la firme d'intelligence artificielle soutenue par Microsoft derrière ChatGPT, ont refusé de participer au programme. Dans une déclaration publique récente, l'entreprise a vivement critiqué Cloudflare pour avoir inséré un nouvel intermédiaire entre les éditeurs et les développeurs d'IA.
OpenAI a mentionné qu'elle a l'habitude de respecter le protocole robots.txt, un fichier qui permet aux opérateurs de sites web de contrôler l'accès des robots, et a insisté sur le fait qu'elle respecte les préférences des sites.
Dans une analyse de juin, Cloudflare prétend avoir trouvé un écart entre la fréquence de récupération de données et les referrals de trafic. Par exemple, le robot de Google a accédé aux sites web 14 fois pour chaque visite qu'il renvoyait. En comparaison, le bot d'OpenAI a récupéré des données sur les sites 17 000 fois pour chaque referral.
Matthew Holman, avocat britannique spécialisé dans la technologie, a déclaré à CNBC que les robots d'IA peuvent être intrusifs et potentiellement nuisibles à l'expérience utilisateur.
“Ils ont été accusés de submerger les sites web et d'avoir un impact significatif sur l'expérience utilisateur,” il a déclaré. Holman a ajouté que si le système de Cloudflare fonctionne comme prévu, il pourrait affaiblir la capacité des chatbots d'IA à collecter et à s'entraîner sur de grandes quantités de données web.
Les éditeurs se rallient derrière Cloudflare
Les grandes entreprises de médias soutiennent les efforts de Cloudflare pour reprendre le contrôle du contenu numérique. Les éditeurs, y compris TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK et Fortune, ont tous convenu de bloquer les robots d'IA par défaut.
Les médias acceptaient la récupération de données de plateformes comme Google en échange de trafic et de revenus publicitaires. Mais l'écosystème actuel alimenté par l'IA n'offre pas une telle réciprocité. Pour beaucoup, les plateformes d'IA comme ChatGPT et Claude consomment du contenu sans engagement significatif ni revenus pour les sources originales.
Cloudflare déclare qu'elle continuera à travailler avec les développeurs pour pousser les robots d'IA souhaitant obtenir un accès à divulguer leur identité, leur objectif et leur comportement de récupération.
« Le contenu original est ce qui fait d'Internet l'une des plus grandes inventions du siècle dernier », a déclaré le PDG Matthew Prince. « Nous devons nous unir pour le protéger. »
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Florence Muchai
Florence couvre depuis 6 ans l'actualité crypto, du jeu vidéo, de la technologie et de l'IA. Ses études en informatique à l'Université de sciences et technologies de Meru et sa formation en gestion des catastrophes et en diplomatie internationale à l'MMUST lui ont amplement permis de développer des compétences linguistiques, d'observation et techniques. Florence a travaillé au sein du groupe VAP et en tant qu'éditrice pour plusieurs médias spécialisés dans la crypto.
