Unternehmen blockieren AI-Web-Crawler, darunter GPTBot, was die Datenverfügbarkeit beeinträchtigt
- Top-Websites blocken zunehmend KI-Webcrawler wie GPTBot, was den Datenzugriff für KI-Modelle beeinträchtigt.
- OpenAIs GPTBot stößt auf wachsenden Widerstand; mehr als 250 beliebte Websites blockieren ihn inzwischen.
- Common Crawl’s CCBot wird ebenfalls von fast 14 % der 1.000 meistbesuchten Websites blockiert.
Da die Nachfrage nach genauen Daten zur Speisung von KI-Modellen weiter steigt, entrollt sich ein eskalierender Kampf im Internet. Unternehmen ergreifen Maßnahmen, um ihre Daten vor AI-Web-Crawlern zu schützen, wobei OpenAIs GPTBot und Common Crawl’s CCBot auf zunehmenden Widerstand stoßen. Aktuelle Daten zeigen, dass mehr als 250 führende Websites GPTBot blockieren, während fast 14 % der beliebtesten Websites auch CCBot den Zugang verwehren, was die Verfügbarkeit lebenswichtiger Informationen für das KI-Training beeinträchtigt.
Der wachsende Kampf gegen AI-Web-Crawler
In einer Ära, die von datengesteuerten Entscheidungsfindungen und künstlicher Intelligenz dominiert wird, sind Web-Crawling-Bots sowohl unverzichtbare Werkzeuge als auch bedeutende Kontroversenquellen. Letzten Monat stellte OpenAI GPTBot vor, das darauf ausgelegt war, das jahrzehntealte robots.txt-Protokoll zu respektieren und Websites zu ermöglichen, ihren Wunsch, nicht gescrappt zu werden, zu signalisieren. Anfangs implementierten etwa 70 der Top-1.000-Websites Blockaden gegen GPTBot, darunter Internetriesen wie Amazon und Tumblr.
Aktuelle Erkenntnisse von Originality.ai zeigen eine signifikante Verschiebung in der Landschaft. Innerhalb von nur drei Wochen ist die Zahl der prominenten Websites, die GPTBot blockieren, auf mehr als 250 gestiegen. Diese umfassende Liste umfasst bekannte Plattformen wie Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People und scheinbar alle Titel, die von Hearst und Conde Nast veröffentlicht werden. Sogar weather.com hat sich den Reihen derjenigen angeschlossen, die ihre Inhalte vor dem AI-Crawler schützen.
Die Herausforderung für den Datenzugang
Der Anstoß hinter dieser Welle von Web-Crawler-Blockaden liegt in der kritischen Rolle, die genaue Daten beim Training leistungsstarker generativer KI-Modelle wie OpenAIs GPT-4 spielen. Diese Modelle sind stark auf große Mengen an Textdaten angewiesen, von denen ein Großteil aus dem Internet stammt, obwohl der Großteil urheberrechtlich geschützt oder bestimmten Entitäten gehört. Das Bewusstsein für diese Praxis ist in letzter Zeit gestiegen, was zu zahlreichen Rechtsstreitigkeiten und der Möglichkeit neuer staatlicher Regulierungen geführt hat.
Gleichzeitig ergreifen viele Unternehmen Maßnahmen, um ihre nutzergenerierten Inhalte und Online-Aktivitäten zu sichern. Durch Aktualisierungen ihrer Nutzungsbedingungen und Benutzerrichtlinien behaupten Tech-Unternehmen ihre Rechte, auf Nutzerdaten für KI-Projekte und Trainingszwecke zuzugreifen und sie zu nutzen. Diese Verschiebung in der Herangehensweise stellt einen breiteren Trend hin zum Datenschutz und zur Datensouveränität dar, wobei Unternehmen zunehmend versuchen, die Kontrolle darüber zu behalten, wie ihre Daten verwendet werden, insbesondere durch KI-gesteuerte Entitäten.
CCBot ist ein weiteres Ziel der Blockade
Während GPTBot aufgrund seiner Verbindung zu OpenAI und dem GPT-4-Modell erhebliche Aufmerksamkeit auf sich gezogen hat, steht ein weiterer Web-Crawler, CCBot, der von Common Crawl eingesetzt wird, vor seinem Anteil an Widerstand. Common Crawl, eine in Europa ansässige Organisation, hat jahrelang riesige Mengen an Webdaten, einschließlich urheberrechtlich geschützter Inhalte, gesammelt und für die Nutzung als Trainingsdaten für große Sprachmodelle wie Meta’s Llama organisiert.
Laut Daten von Originality.ai haben bis Ende September fast 14 % der 1.000 beliebtesten Websites Blockaden gegen CCBot implementiert. Diese Liste umfasst Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker und The Atlantic, unter anderem. Bemerkenswert ist, dass viele der Websites, die CCBot blockieren, ihre Einschränkungen auch auf GPTBot ausdehnen, was den wachsenden Trend zur Sicherung von Daten vor AI-Web-Crawlern verdeutlicht, unabhängig von deren Zugehörigkeit.
Der Kampf zwischen Unternehmen, die ihre Daten schützen wollen, und AI-Web-Crawlern, die nach Trainingsmaterial suchen, intensiviert sich weiterhin. Die wachsende Zahl von Websites, die GPTBot und CCBot blockieren, unterstreicht die zunehmende Bedeutung des Datenzugriffs und der Kontrolle in einer KI-gesteuerten Welt. Während die rechtliche und regulatorische Aufsicht zunimmt, bleibt das Gleichgewicht zwischen Datennutzung und Datenschutz eine kritische Herausforderung für Unternehmen und KI-Entwickler.
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Aamir Sheikh
Aamir ist Tech-Journalist mit fast sechs Jahren Erfahrung in der Krypto- und Technologiebranche. Er absolvierte sein Studium an der MAJ University mit einem MBA in Finanzen und Marketing. Heute arbeitet er für Cryptopolitan, wo er über die neuesten Entwicklungen in den Kryptowährungsmärkten und Preisprognosen berichtet.
