Lohnt es sich, KI-Bots zu blockieren, oder sollte man sie zulassen?

Als OpenAI ihren Chatbot ChatGPT startete, enthüllte er auch seinen Web-Crawler namens GPTBot. Ihr Crawler funktioniert auf die gleiche Weise wie ein Google-Bot, und Website-Besitzer können diese Crawler vom Zugriff auf ihre Websites in der robots.txt blockieren. OpenAI gab auch Zugriff auf die Blockierung ihres Bots. Es wird gesagt, dass etwa 48 % der Websites ihren Zugriff blockiert haben, laut einer Studie von Originality.AI. Danach kündigte Google auch einen separaten Google-Extended-Bot an, um Webmastern zu ermöglichen, ihre KI-Tools zu blockieren, ohne ihren Such-Bot zu beeinträchtigen.

Laufende Debatte über KI-Bots

Seit dem Start von ChatGPT gibt es eine anhaltende Debatte darüber, wie man den Vorteil nutzen kann, einige der KI-Bots vom Zugriff auf Websites zu blockieren. Es gibt keine einzige Antwort, die alle Interessengruppen zufriedenstellen kann, da die Diskussion darüber unter SEO-Branchenspielern und fast allen Online-Publikationen anhaltend ist. Dies ist ein sekundäres Thema darüber, ob das Blockieren dieser Bots irgendeine praktische Auswirkung haben wird, da viele Dienste den Web ohne Erlaubnis durchsuchen.

Ein Punkt, der diese Denkweise unterstützt, ist, dass der Crawler von OpenAI ziemlich spät angekündigt wurde. Das Unternehmen könnte viele verschiedene Methoden verwendet haben, um Daten zu beziehen, die es als im Web weit verbreitet bezeichnet. Die Bedenken sind, dass Unternehmen Bots unter verschiedenen Namen und von verschiedenen Anbietern verwenden können, sodass Sie, wenn Sie einen neuen blockieren, die Daten, die bereits von ihnen verarbeitet wurden, nicht zurückfordern können.

Dies hat es Scraping-Sites erleichtert, Inhalte aus diesen sehr Bots zu produzieren, die auf Ihren Daten, dem menschlich produzierten, trainiert sind. 

Sie wollen Ihre Inhalte

Einige mögen glauben, dass KI-Unternehmen ihre Inhalte nicht wollen und sie eines Tages in der Lage sein werden, Inhalte von derselben Qualität wie Ihre zu produzieren, dann ist dies ein sehr besorgniserregendes Problem für inhaltszentrierte Sites. Dies wirft auch Fragen zur Wirksamkeit und Relevanz der SEO-Praktiken auf, die wir kennen. Ein weiteres Problem wird sein, dass es eine große Anzahl von Sites geben wird, die genau denselben Inhalt produzieren. Unter Berücksichtigung dieser Punkte können einige Branchen KI-Bots im großen Maßstab blockieren. 

Experten, die den Zugang zu Dingen wie ChatGPT-Bots befürworten, stützen ihr Argument auf die Grundlage, dass der Dienst nicht als Suchmaschine, sondern als Assistent, insbesondere für Code-Erstellung, Übersetzung und auch Inhaltserstellung, genutzt wird. Sie sagen auch, dass der Marktanteil von Bing seit der Integration von ChatGPT nur um 1 % gestiegen ist. Im Moment sagt Google, dass sein KI-Bot separat ist, aber wir wissen nicht, was in der Zukunft passieren wird, da Google KI in Suchergebnisse in der Zukunft integrieren wird.

Befürworter sagen auch, dass es nicht nur darum geht, dass Chatbots Inhalte schreiben, sondern der Punkt ist, dass, wenn sie Ihren Markennamen erwähnen, die Situation Ihrer Marke laut ihnen auch eine Exposition gegenüber einem breiteren Publikum bietet. Außerdem verhindern Sie, wenn Sie ihren Zugriff blockieren, dass Ihre Gedanken in das Training zukünftiger LLMs einfließen. Es besteht jedoch eine starke Möglichkeit, dass in der Zukunft Klone von Marken und Produkten von denselben Modellen generiert werden, was das Deepfake-Problem letztendlich verstärken wird.

Die Bedrohung, die KI-Modelle für SEO und Google darstellen, liegt nicht als direkter Konkurrent, sondern als Werkzeug, das zur Erstellung von Inhalten im großen Maßstab genutzt werden kann. Dies ist disruptiv für die Suche, da es Probleme für Google und Bing verursachen wird und den Traffic aufzehren wird, der sonst den bereits vorhandenen menschlichen Inhalt aufzehren würde. Die Entscheidung, ob ein Bot zugelassen wird oder nicht, hängt am Ende von der Präferenz eines einzelnen Bloggers oder Verlegers als Firma ab, nachdem er seine Prioritäten analysiert hat.