KI-Firmen protestieren gegen Cloudflares Verbot von KI-Bots, die standardmäßig Inhalte scrapen
- Cloudflare blockiert ab sofort standardmäßig KI-Crawler und gibt Website-Betreibern mehr Kontrolle darüber, wie auf ihre Inhalte zugegriffen und diese genutzt werden.
- Mit dieser Maßnahme wird ein „Pay-per-Crawl“-Markt eingeführt, in dem KI-Unternehmen Verlage für den Zugang zu Daten entschädigen müssen.
- Große Verlage unterstützen die Entwicklung, da KI-Bots wie die von OpenAI umfangreich Inhalte gescraped haben, ohne nennenswerten Traffic zurückzuliefern.
Cloudflare, das Internet-Infrastrukturunternehmen, das für die Weiterleitung von etwa 20 % des globalen Web-Traffics verantwortlich ist, hat angekündigt, standardmäßig künstliche Intelligenz (KI)-Crawler zu blockieren.
Die Änderung, die am Dienstag in Kraft tritt, verändert die Art und Weise, wie KI-Unternehmen Zugang zu im Web gehosteten Inhalten erhalten dürfen, nachdem Verlage mehr Kontrolle und Entschädigung für ihre Daten gefordert hatten.
Das Content-Delivery-Netzwerk (CDN) hilft Websites, Daten näher an die Benutzer zu cachen und auszuliefern. Mit dieser neuen Richtlinie wird jede neue Domain, die sich für Cloudflare-Dienste anmeldet, aufgefordert zu entscheiden, wann und ob KI-Bots auf ihre Inhalte zugegriffen werden kann, oder sie können sich dafür entscheiden, Scraper vollständig zu blockieren.
Cloudflare startet Tools zur Kontrolle des KI-Zugriffs
Die Änderung ergänzt frühere Initiativen von Cloudflare, um Verlegern mehr Kontrolle über ihre Daten zu geben. Letztes Jahr führte das Unternehmen eine One-Click-Lösung ein, um alle bekannten KI-Bots zu blockieren, sowie ein Dashboard zur Überwachung der Crawler-Aktivität. Website-Besitzer nutzen das Tool, um zwischen Crawlern zu unterscheiden, die Daten für KI-Training, Suchzwecke oder andere Verwendungen scrapen.
Die Ankündigung vom Dienstag formalisiert diese Schutzmaßnahmen und erzwingt sie standardmäßig. „KI-Crawler haben Inhalte ohne Grenzen gescraped. Unser Ziel ist es, die Macht wieder in die Hände der Schöpfer zu legen, während wir KI-Unternehmen weiterhin bei der Innovation helfen“, sagte Cloudflare-CEO Matthew Prince in einer heute veröffentlichten Erklärung.
Nach Unternehmensaufzeichnungen ist das Pay-per-Crawl-System von Cloudflare, die Grundlage dieser Initiative, ein Marktplatz, auf dem KI-Unternehmen und Content-Eigentümer eine Entschädigung pro Zugriff vereinbaren können.
Beide Parteien müssen Cloudflare-Konten haben, und einmal eingerichtet, können sie Preise und Bedingungen für Web-Crawling-Aktivitäten aushandeln. Cloudflare fungiert als Makler in der Transaktion, berechnet der KI-Firma die Gebühr und leitet die Einnahmen an den Verleger weiter.
KI-Entwickler beklagen begrenzten Website-Zugang
Mehrere KI-Entwickler, darunter OpenAI, die von Microsoft unterstützte KI-Firma hinter ChatGPT, haben sich geweigert, am Programm teilzunehmen. In einer kürzlich veröffentlichten öffentlichen Erklärung kritisierte das Unternehmen Cloudflare dafür, einen neuen Vermittler zwischen Verlegern und KI-Entwicklern eingefügt zu haben.
OpenAI erwähnte, dass es eine Geschichte der Einhaltung des robots.txt-Protokolls habe, einer Datei, die Website-Betreibern die Kontrolle über den Crawler-Zugang ermöglicht, und betonte, dass es die Präferenzen der Sites respektiere.
In einer Analyse im Juni behauptet Cloudflare, eine Lücke zwischen der Scraping-Häufigkeit und den Traffic-Referrals gefunden zu haben. Googles Crawler beispielsweise griff Websites 14 Mal für jeden Besuch zu, den er zurücksendete. Im Vergleich dazu scrapte OpenAIs Bot Sites 17.000 Mal für jeden Referral.
Der in Großbritannien ansässige Technologieanwalt Matthew Holman sagte gegenüber CNBC, dass KI-Crawler aufdringlich sein und das Nutzererlebnis potenziell schädigen können.
“Sie wurden beschuldigt, Websites zu überlasten und das Nutzererlebnis erheblich zu beeinträchtigen,” erklärte er sagte. Holman fügte hinzu, dass, wenn Cloudflares System wie beabsichtigt funktioniert, es die Fähigkeit von KI-Chatbots, große Mengen an Webdaten zu sammeln und darauf zu trainieren, schwächen könnte.
Verleger hinter Cloudflare
Große Medienunternehmen unterstützen Cloudflares Bemühungen, die Kontrolle über digitale Inhalte zurückzugewinnen. Verlage, darunter TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK und Fortune, haben alle zugestimmt, KI-Bots standardmäßig zu blockieren.
Medienunternehmen haben das Scraping von Daten von Plattformen wie Google akzeptiert, im Austausch für Traffic und Werbeeinnahmen. Aber das aktuelle KI-getriebene Ökosystem hat keine solche Reziprozität. Für viele konsumieren KI-Plattformen wie ChatGPT und Claude Inhalte ohne sinnvolle Interaktion oder Einnahmen für die ursprünglichen Quellen.
Cloudflare sagt, es werde weiterhin mit Entwicklern zusammenarbeiten, um KI-Crawler, die Zugang wünschen, dazu zu drängen, ihre Identität, ihren Zweck und ihr Crawling-Verhalten offenzulegen.
„Originalinhalte sind es, die das Internet zu einer der größten Erfindungen des letzten Jahrhunderts machen“, sagte CEO Matthew Prince. „Wir müssen zusammenkommen, um sie zu schützen.“
Wenn Sie dies lesen, sind Sie bereits einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Florence Muchai
Florence berichtet seit sechs Jahren über Kryptowährungen, Gaming, Technologie und KI. Ihr Studium der Computerwissenschaften an der Meru University of Science and Technology sowie ihr Studium im Bereich Katastrophenmanagement und internationale Diplomatie an der MMUST haben sie umfassend mit Sprach-, Beobachtungs- und technischen Fähigkeiten ausgestattet. Florence war bei der VAP Group tätig und arbeitete als Redakteurin für mehrere Krypto-Medienhäuser.
