Les entreprises spécialisées en IA protestent contre l'interdiction par défaut, par Cloudflare, des robots d'IA qui extraient du contenu

Cloudflare, la société d'infrastructure Internet responsable du routage d'environ 20 % du trafic web mondial, a annoncé qu'elle commencerait à bloquer par défaut les robots d'exploration d'intelligence artificielle (IA).

Ce changement, qui entrera en vigueur mardi, modifie la façon dont les entreprises spécialisées dans l'IA seront autorisées à accéder au contenu hébergé sur le web, suite aux pressions des éditeurs qui réclamaient davantage de contrôle et une meilleure compensation pour leurs données.

Le réseau de diffusion de contenu (CDN) permet aux sites web de mettre en cache et de diffuser des données au plus près des utilisateurs. Grâce à cette nouvelle politique, tout nouveau domaine s'inscrivant aux services Cloudflare sera invité à indiquer si et quand les robots d'intelligence artificielle peuvent accéder à son contenu, ou s'il peut choisir de bloquer complètement les scrapers.

Cloudflare lance des outils pour contrôler l'accès à l'IA

Cette évolution s'inscrit dans la continuité des initiatives précédentes de Cloudflare visant à offrir aux éditeurs un meilleur contrôle de leurs données. L'année dernière, l'entreprise a lancé une solution en un clic pour bloquer tous les robots d'exploration d'IA connus, ainsi qu'un tableau de bord permettant de surveiller leur activité. Les propriétaires de sites utilisent cet outil pour distinguer les robots qui collectent des données à des fins d'entraînement d'IA, de recherche ou autres.

L'annonce de mardi officialise ces protections et les applique par défaut. «Les robots d'exploration basés sur l'IA collectent du contenu sans aucune limite. Notre objectif est de redonner le pouvoir aux créateurs, tout en aidant les entreprises spécialisées en IA à innover», a déclaré Matthew Prince, PDG de Cloudflare, dans un communiqué publié aujourd'hui.

Selon les documents de l'entreprise, le système de paiement par exploration de Cloudflare, qui constitue la base de cette initiative, est une place de marché où les entreprises d'IA et les propriétaires de contenu peuvent convenir d'une rémunération par accès. 

Les deux parties doivent posséder un compte Cloudflare. Une fois ces comptes créés, elles peuvent négocier les prix et les conditions des activités d'exploration du Web. Cloudflare joue le rôle d'intermédiaire dans la transaction : il facture la société d'IA et reverse les revenus à l'éditeur.

Les développeurs d'IA déplorent l'accès limité au site web

Plusieurs développeurs d'IA, dont OpenAI, la société d'intelligence artificielle soutenue par Microsoft et à l'origine de ChatGPT, ont refusé de participer au programme. Dans une récente déclaration publique, l'entreprise a vivement critiqué Cloudflare pour avoir introduit un nouvel intermédiaire entre les éditeurs et les développeurs d'IA. 

OpenAI a indiqué avoir toujours respecté le protocole robots.txt, un fichier qui permet aux opérateurs de sites web de contrôler l'accès des robots d'exploration, et a insisté sur le fait qu'elle respecte les préférences des sites.

Dans une analyse publiée en juin, Cloudflare affirme avoir constaté un écart entre la fréquence d'exploration des sites web et le trafic généré. Le robot d'exploration de Google, par exemple, accédait aux sites web 14 fois pour chaque visite qu'il envoyait. À titre de comparaison, le robot d'OpenAI explorait les sites 17 000 fois pour chaque visite. 

Matthew Holman, avocat spécialisé dans les technologies et basé au Royaume-Uni, a déclaré à CNBC que les robots d'exploration basés sur l'IA peuvent être intrusifs et potentiellement nuisibles à l'expérience utilisateur. 

« On les accuse de surcharger les sites web et de dégrader considérablement l'expérience utilisateur », a-t-il déclaré. Holman a ajouté que si le système de Cloudflare fonctionne comme prévu, il pourrait limiter la capacité des chatbots d'IA à collecter et à s'entraîner sur des données web à grande échelle. 

Les éditeurs se rallient à Cloudflare

Les principaux groupes de médias soutiennent les efforts de Cloudflare pour reprendre le contrôle des contenus numériques. Des éditeurs tels que TIME, l'Associated Press, Condé Nast, The Atlantic, ADWEEK et Fortune ont tous accepté de bloquer par défaut les robots d'intelligence artificielle. 

Les médias acceptent depuis longtemps de collecter des données auprès de plateformes comme Google en échange de trafic et de revenus publicitaires. Or, l'écosystème actuel, piloté par l'IA, ne prévoit aucune réciprocité. Pour beaucoup, les plateformes d'IA telles que ChatGPT et Claude consomment du contenu sans générer d'engagement significatif ni de revenus pour les sources originales.

Cloudflare affirme qu'elle continuera de travailler avec les développeurs pour inciter les robots d'exploration IA qui souhaitent avoir accès à divulguer leurdent, leur objectif et leur comportement d'exploration.

« Le contenu original est ce qui fait d’Internet l’une des plus grandes inventions du siècle dernier », a déclaré le PDG Matthew Prince. « Nous devons nous unir pour le protéger. »