Lohnt es sich, KI-Bots zu blockieren, oder sollte man sie zulassen?

Mit dem Start ihres Chatbots ChatGPT stellte OpenAI auch ihren Webcrawler GPTBot vor. Dieser funktioniert ähnlich wie ein Google-Bot, und Website-Betreiber können den Zugriff auf ihre Websites über die robots.txt-Datei blockieren. OpenAI ermöglichte es, den eigenen Bot zu blockieren. Laut einer Studie von Originality.AI haben bereits rund 48 % der Websites den Zugriff auf GPTBot gesperrt. Anschließend kündigte Google den separaten Google-Extended-Bot an, mit dem Webmaster KI-Tools blockieren können, ohne den Suchbot zu beeinträchtigen.

Andauernde Debatte über KI-Bots

Seit dem Start von ChatGPT wird kontrovers diskutiert, wie man die Möglichkeit, bestimmte KI-Bots am Zugriff auf Websites zu hindern, optimal nutzen kann. Eine allgemeingültige Lösung gibt es nicht, da die Diskussion in der SEO-Branche und bei nahezu allen Online-Publikationen anhält. Ein weiterer Aspekt ist die Frage, ob die Blockierung dieser Bots überhaupt praktische Auswirkungen hat, da viele Dienste das Web ohne Erlaubnis durchsuchen.

Ein Argument für diese Denkweise ist, dass der Crawler von OpenAI erst relativ spät angekündigt wurde. Das Unternehmen könnte verschiedene Datenquellen genutzt haben, die es als im Web weit verbreitet bezeichnet. Die Befürchtung besteht darin, dass Unternehmen Bots unter verschiedenen Namen und von verschiedenen Anbietern einsetzen können. Blockiert man also einen neuen Bot, lassen sich die bereits von ihm erfassten Daten nicht zurückholen.

Dies hat es Scraper-Websites erleichtert, Inhalte mit Hilfe dieser Bots zu generieren, die mit Ihren Daten, den von Menschen erstellten Daten, trainiert wurden. 

Sie wollen Ihre Inhalte

Manche glauben, KI-Unternehmen seien nicht an ihren Inhalten interessiert und könnten eines Tages Inhalte in derselben Qualität wie die eigenen erstellen. Dies stellt ein sehr besorgniserregendes Problem für inhaltsorientierte Websites dar. Es wirft auch Fragen zur Effektivität und Relevanz bekannter SEO-Maßnahmen auf. Ein weiteres Problem wird die Vielzahl an Websites sein, die dieselben Inhalte produzieren. Angesichts dieser Punkte könnten einige Branchen KI-Bots in großem Umfang blockieren. 

Experten, die sich für den Zugang zu Diensten wie ChatGPT aussprechen, argumentieren damit, dass dieser nicht als Suchmaschine, sondern als Assistent genutzt wird, insbesondere für die Codeerstellung, Übersetzung und Content-Erstellung. Sie führen außerdem an, dass Bings Marktanteil seit der Integration von ChatGPT lediglich um 1 % gestiegen sei. Google betont derzeit, dass sein KI-Bot separat agiert, doch die zukünftige Entwicklung ist ungewiss, da Google KI künftig in die Suchergebnisse integrieren will.

Befürworter argumentieren, dass es nicht nur um Chatbotsgeht, sondern dass die Erwähnung des Markennamens die Markenbekanntheit erhöht. Blockiert man den Zugriff, verhindert man, dass die eigenen Ideen in die Ausbildung zukünftiger LLM-Absolventen einfließen. Es besteht jedoch dietronWahrscheinlichkeit, dass zukünftig Klone von Marken und Produkten durch diese Modelle generiert werden, was das Deepfake-Problem verschärfen könnte.

Die Bedrohung, die KI-Modelle für SEO und Google darstellen, liegt nicht in der direkten Konkurrenz zu anderen Anbietern, sondern in der Möglichkeit, Inhalte in großem Umfang zu erstellen. Dies wirkt sich disruptiv auf die Suche aus, da es Probleme für Google und Bing mit sich bringt und den Traffic abzieht, der sonst von bereits vorhandenen, von Menschen erstellten Inhalten. Letztendlich hängt die Entscheidung, ob ein Bot zugelassen wird oder nicht, von den individuellen Präferenzen des Bloggers oder des Verlags ab, nachdem dieser seine Prioritäten analysiert hat.