Les entreprises bloquent les robots d'exploration web IA, y compris GPTBot, impactant la disponibilité des données
- Les sites web les plus populaires bloquent de plus en plus les robots d’exploration IA comme GPTBot, ce qui affecte l’accès aux données pour les modèles d’intelligence artificielle.
- GPTBot d’OpenAI fait face à une opposition croissante : plus de 250 sites très fréquentés le bloquent désormais.
- CCBot de Common Crawl est également bloqué par près de 14 % des 1 000 sites web les plus populaires.
Alors que la demande de données précises pour alimenter les modèles IA continue d'augmenter, une bataille croissante se déroule sur Internet. Les entreprises prennent des mesures pour protéger leurs données des robots d'exploration web IA, avec GPTBot d'OpenAI et CCBot de Common Crawl faisant face à une opposition accrue. Des données récentes révèlent que plus de 250 sites web leaders bloquent désormais GPTBot, tandis que près de 14 % des sites web les plus populaires ont également banni CCBot, impactant la disponibilité d'informations vitales pour l'entraînement des IA.
La bataille croissante contre les robots d'exploration web IA
À une époque dominée par la prise de décision basée sur les données et l'intelligence artificielle, les robots d'exploration web sont devenus à la fois des outils essentiels et des sources importantes de controverse. Le mois dernier, OpenAI a introduit GPTBot, conçu pour respecter le protocole robots.txt vieux de plusieurs décennies, permettant aux sites web de signaler leur souhait de ne pas être scrapés. Initialement, environ 70 des 1 000 meilleurs sites web ont mis en place des blocages contre GPTBot, y compris des géants d'Internet comme Amazon et Tumblr.
Des découvertes récentes d'Originality.ai révèlent un changement significatif dans le paysage. En l'espace de seulement trois semaines, le nombre de sites web importants bloquant GPTBot a augmenté pour dépasser les 250. Cette liste complète comprend des plateformes bien connues comme Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People, et apparemment tous les titres publiés par Hearst et Conde Nast. Même weather.com a rejoint le rang de ceux qui protègent leur contenu du robot d'exploration IA.
Le défi de l'accessibilité des données
L'impulsion derrière cette vague de blocages de robots d'exploration web réside dans le rôle critique que jouent les données précises dans l'entraînement de puissants modèles d'IA générative, tels que GPT-4 d'OpenAI. Ces modèles dépendent fortement de vastes quantités de données textuelles, dont une grande partie est extraite d'Internet, bien que la majorité soit soumise au droit d'auteur ou appartenant à des entités spécifiques. La prise de conscience de cette pratique a augmenté ces derniers temps, conduisant à de nombreux litiges juridiques et à la possibilité de nouvelles réglementations gouvernementales.
Simultanément, de nombreuses entreprises prennent des mesures pour sécuriser leur contenu généré par les utilisateurs et leurs activités en ligne. Grâce à des mises à jour de leurs conditions d'utilisation et de leurs politiques utilisateurs, les entreprises technologiques affirment leurs droits d'accéder et d'utiliser les données des utilisateurs pour des projets et des entraînements IA. Ce changement d'approche représente une tendance plus large vers la protection et la souveraineté des données, les entreprises cherchant de plus en plus à contrôler l'utilisation de leurs données, en particulier par les entités pilotées par l'IA.
CCBot est une autre cible du blocage
Alors que GPTBot a attiré une attention significative en raison de son association avec OpenAI et le modèle GPT-4, un autre robot d'exploration web, CCBot, utilisé par Common Crawl, fait face à sa part de résistance. Common Crawl, une organisation basée en Europe, a passé des années à accumuler d'énormes quantités de données web, y compris du contenu protégé par le droit d'auteur, et à les organiser pour une utilisation comme données d'entraînement pour de grands modèles de langage comme Llama de Meta.
Fin septembre, les données d'Originality.ai indiquent que près de 14 % des 1 000 sites web les plus populaires ont mis en place des blocages contre CCBot. Cette liste comprend Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker et The Atlantic, entre autres. Il est notable que de nombreux sites web bloquant CCBot étendent également leurs restrictions à GPTBot, illustrant la tendance croissante de la protection des données contre les robots d'exploration web IA, quelle que soit leur affiliation.
La bataille entre les entreprises cherchant à protéger leurs données et les robots d'exploration web IA à la recherche de matériel d'entraînement s'intensifie. Le nombre croissant de sites web bloquant GPTBot et CCBot souligne l'importance croissante de l'accessibilité et du contrôle des données dans un monde piloté par l'IA. Alors que la surveillance juridique et réglementaire s'intensifie, l'équilibre entre l'utilisation des données et la protection des données reste un défi critique pour les entreprises et les développeurs d'IA.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
