KI-Firmen protestieren gegen Cloudflares Verbot des standardmäßigen Auslesens von Inhalten durch KI-Bots

Cloudflare, das Internetinfrastrukturunternehmen, das für das Routing von etwa 20 % des weltweiten Webverkehrs verantwortlich ist, hat angekündigt, künstliche Intelligenz (KI)-Crawler standardmäßig zu blockieren.

Die Änderung, die am Dienstag in Kraft tritt, betrifft die Art und Weise, wie KI-Unternehmen auf im Web gehostete Inhalte zugreifen dürfen, nachdem Verlage mehr Kontrolle und eine angemessene Vergütung für ihre Daten gefordert hatten.

Das Content Delivery Network (CDN) hilft Webseiten, Daten zwischenzuspeichern und Nutzern näher bereitzustellen. Gemäß dieser neuen Richtlinie werden alle Domains, die sich für Cloudflare-Dienste anmelden, aufgefordert zu entscheiden, wann und ob KI-Bots auf ihre Inhalte zugreifen dürfen, oder sie können Scraper vollständig blockieren.

Cloudflare stellt Tools zur Kontrolle des KI-Zugriffs vor

Diese Änderung ergänzt Cloudflares frühere Initiativen, Publishern mehr Kontrolle über ihre Daten zu geben. Letztes Jahr führte das Unternehmen eine Ein-Klick-Lösung zum Blockieren aller bekannten KI-Bots sowie ein Dashboard zur Überwachung der Crawler-Aktivitäten ein. Website-Betreiber nutzen das Tool, um zwischen Crawlern zu unterscheiden, die Daten für KI-Training, Suchzwecke oder andere Zwecke sammeln.

Die Ankündigung vom Dienstag formalisiert diese Schutzmaßnahmen und setzt sie standardmäßig in Kraft. „KI-Crawler haben Inhalte bisher unbegrenzt gesammelt. Unser Ziel ist es, die Kontrolle wieder in die Hände der Urheber zu legen und gleichzeitig KI-Unternehmen bei ihren Innovationen zu unterstützen“, sagte Cloudflare-CEO Matthew Prince in einer heute veröffentlichten Erklärung.

Laut Unternehmensangaben handelt es sich bei Cloudflares Pay-per-Crawl-System, der Grundlage dieser Initiative, um einen Marktplatz, auf dem KI-Unternehmen und Content-Inhaber eine Vergütung pro Zugriff vereinbaren können. 

Beide Parteien benötigen ein Cloudflare-Konto. Nach der Einrichtung können sie Preise und Konditionen für Web-Crawling-Aktivitäten aushandeln. Cloudflare fungiert dabei als Vermittler, berechnet dem KI-Unternehmen Gebühren und leitet die Einnahmen an den Herausgeber weiter.

KI-Entwickler beklagen den eingeschränkten Website-Zugang

Mehrere KI-Entwickler, darunter OpenAI, das von Microsoft unterstützte KI-Unternehmen hinter ChatGPT, haben die Teilnahme an dem Programm abgelehnt. In einer kürzlich veröffentlichten Stellungnahme kritisierte das Unternehmen Cloudflare scharf dafür, einen neuen Vermittler zwischen Verlagen und KI-Entwicklern einzuführen. 

OpenAI wies darauf hin, dass es in der Vergangenheit stets das robots.txt-Protokoll eingehalten habe, eine Datei, die Website-Betreibern die Kontrolle über den Zugriff von Crawlern ermöglicht, und betonte, dass es die Präferenzen der Website-Betreiber respektiere.

In einer Analyse vom Juni behauptet Cloudflare, eine Diskrepanz zwischen der Häufigkeit des Web-Scrapings und den Traffic-Verweisen festgestellt zu haben. Der Google-Crawler beispielsweise griff 14 Mal auf Websites zu, bevor er einen Besuch zurückmeldete. Im Vergleich dazu scrapte der Bot von OpenAI 17.000 Mal pro Weiterleitung. 

Der in Großbritannien ansässige Technologieanwalt Matthew Holman erklärte gegenüber CNBC, dass KI-Crawler aufdringlich sein und die Benutzererfahrung potenziell beeinträchtigen können. 

„Ihnen wird vorgeworfen, Webseiten zu überlasten und die Nutzererfahrung erheblich zu beeinträchtigen“, sagte. Holman fügte hinzu, dass das System von Cloudflare, falls es wie beabsichtigt funktioniere, die Fähigkeit von KI-Chatbots, große Mengen an Webdaten zu sammeln und damit zu trainieren, einschränken könnte. 

Verlage stellen sich hinter Cloudflare

Große Medienunternehmen unterstützen Cloudflares Bemühungen, die Kontrolle über digitale Inhalte zurückzugewinnen. Verlage wie TIME, The Associated Press, Condé Nast, The Atlantic, ADWEEK und Fortune haben sich verpflichtet, KI-Bots standardmäßig zu blockieren. 

Medienunternehmen haben bisher Daten von Plattformen wie Google im Austausch für Traffic und Werbeeinnahmen akzeptiert. Das heutige KI-gestützte Ökosystem kennt jedoch keine solche Gegenseitigkeit. Viele nutzen KI-Plattformen wie ChatGPT und Claude, um Inhalte zu konsumieren, ohne dass die ursprünglichen Quellen nennenswerte Interaktionen oder Einnahmen generieren.

Cloudflare erklärt, dass es weiterhin mit Entwicklern zusammenarbeiten wird, um KI-Crawler, denen der Zugriff gewährt werden soll, dazu zu bewegen, ihredent, ihren Zweck und ihr Crawling-Verhalten offenzulegen.

„Originalinhalte machen das Internet zu einer der größten Erfindungen des letzten Jahrhunderts“, erklärte CEO Matthew Prince. „Wir müssen gemeinsam dafür sorgen, dass sie geschützt werden.“