Blockieren führende Nachrichtenwebseiten KI-Crawler? Die neuesten Erkenntnisse werden vorgestellt

Eine Analyse der Press Gazette ergab, dass ein erheblicher Anteil der 100 größten englischsprachigen Nachrichtenwebsites Maßnahmen ergreift, um KI- Webcrawler am Zugriff auf ihre Inhalte zu hindern. Von den 106 untersuchten Websites blockierten 45 KI-Crawler überhaupt nicht, während die übrigen Websites unterschiedliche Einschränkungen aufwiesen.

Einblicke in die Trends zur Blockierung von KI-Crawlern bei führenden Nachrichten-Websites

Mehr als vier von zehn der befragten Nachrichtenwebseiten erlauben allen KI-Webcrawlern das uneingeschränkte Auslesen ihrer Inhalte. Ein beträchtlicher Anteil von 61 Seiten schränkt den Zugriff jedoch ein, indem er mindestens einen KI-Bot blockiert. Bemerkenswerterweise gehen 32 Seiten noch einen Schritt weiter und blockieren zwei oder mehr KI-Crawler, einige sogar bis zu fünf.

Angeführt wird die Liste der blockierten KI-Webcrawler von GPTBot, dem Webcrawler von ChatGPT, der von OpenAI entwickelt wurde. Bemerkenswerte 56,6 % der befragten Websites verweigern den Zugriff auf GPTBot. Dicht dahinter folgt Google-Extended, ein weiterer häufig blockierter Crawler, der vom KI-Chatbot Gemini (ehemals Bard) von Google verwendet wird.

 Darüber hinaus sind Crawler wie Claude-Web, Claudebot, anthropic-ai, Cohere-ai, Perplexity-ai, Seekr und Meltwater auf den untersuchten Websites mit unterschiedlichen Einschränkungen konfrontiert.

Bemerkenswerte Ausschlüsse und Einschlüsse

Während einige große Verlage bestimmte KI-Bots blockieren, verzichten andere auf jegliche Einschränkungen. So erlauben beispielsweise Mirror, Express, Manchester Evening News, Ladbible, Unilad sowie die unter demdent von Lebedevs Independent und Evening Standard stehenden Publikationen uneingeschränkten Zugriff auf KI-Crawler.

 Auch Politico, eine Tochtergesellschaft von Axel Springer, ermöglicht den Zugriff auf KI-gestützte Crawler aufgrund einer Vereinbarung zum Austausch von Inhalten mit OpenAI.

Überraschenderweise verzichtet das zu IAC gehörende Online-Magazin „Daily Beast“ darauf, KI-Bots zu blockieren, obwohl sich der Vorsitzende des Unternehmens für eine Entschädigung von Verlagen durch KI-Firmen ausgesprochen hat. Im Gegensatz dazu verzichten einige politisch konservative Websites, darunter GB News, Newsmax, Zero Hedge, Breitbart und Fox News, auf die Blockierung von KI-Crawlern und weichen damit von anderen Publikationen des Murdoch-Konzerns ab.

Auswirkungen und Zukunftsaussichten

Die unterschiedlichen Vorgehensweisen von Nachrichtenverlagen beim Zugriff auf KI-gestützte Webcrawler spiegeln die anhaltende Debatte um Inhaltsnutzung und Urheberrechte im digitalen Zeitalter wider. Während einige Verlage eine strenge Kontrolle ihrer Inhalte bevorzugen, um unautorisierte Nutzung zu verhindern und die Verbreitung zu sichern, priorisieren andere die Zugänglichkeit und die Zusammenarbeit mit KI-Unternehmen für die Verbreitung und Innovation von Inhalten.

Da sich die Landschaft ständig weiterentwickelt, bleibt abzuwarten, wie Verlage, KI-Unternehmen und Regulierungsbehörden mit dem komplexen Zusammenspiel von Technologie, Eigentumsrechten an Inhalten und Datenschutz umgehen werden. 

Die Entscheidungen von Nachrichtenverlagen hinsichtlich des Zugangs von KI-gestützten Crawlern wirken sich nicht nur auf die Verbreitung von Nachrichten aus, sondern prägen auch die breitere Debatte über die Nutzung digitaler Inhalte und die Rechte an geistigem Eigentum.