Websites blockieren Tech-Giganten bei der Nutzung ihrer Daten zum Trainieren von LLMs

In letzter Zeit hat sich eine bedeutende Verschiebung vollzogen. Top-Websites beginnen, ihre Inhalte vor Tech-Giganten wie Google und OpenAI zu schützen. Dieser Schritt verändert die langjährige Beziehung zwischen Webverlegern und Suchmaschinen. Die Verschiebung wird durch den Aufstieg von künstlicher Intelligenz (KI)-Technologien ausgelöst.

Websites schützen ihre Inhalte

Traditionell haben Websites ein einfaches, aber leistungsstarkes Werkzeug namens `robots.txt` verwendet, um zu verwalten, wie Suchmaschinen mit ihren Inhalten interagieren. Diese Vereinbarung ermöglichte es Websites, vom durch Suchmaschinen gelenkten Traffic zu profitieren. Fortgeschrittene KI-Modelle haben jedoch neue Komplexitäten in diese Beziehung eingeführt. Unternehmen wie OpenAI und Google haben riesige Mengen an Online-Inhalten verwendet, um ihre KI-Systeme zu trainieren. Diese KIs können jetzt direkt Benutzeranfragen beantworten, wodurch die Notwendigkeit für Benutzer, die ursprünglichen Websites zu besuchen, sinkt. Sie unterbrechen den Traffic-Fluss von Suchmaschinen zu diesen Seiten.

Als Reaktion darauf hat Google ein neues Protokoll namens Google-Extended eingeführt. Es ermöglicht Websites, die Verwendung ihrer Inhalte für das Training von KI-Modellen zu blockieren. Das Protokoll wurde im September letzten Jahres eingeführt und wurde von rund 10 % der Top-1.000-Websites übernommen. Dazu gehören hochkarätige Namen wie The New York Times und CNN.

Adoption vergleichen und in die Zukunft blicken

Während Google-Extended einen Schritt hin zur Übernahme der Kontrolle durch Websites über ihre Inhalte darstellt, liegt seine Adoptionsrate hinter anderen Tools wie OpenAIs GPTBot zurück. Die Zurückhaltung könnte aus der Sorge um die Sichtbarkeit in zukünftigen KI-gesteuerten Suchergebnissen resultieren. Websites, die den Zugriff auf ihre Inhalte blockieren, riskieren, von KI-Modellen übersehen zu werden. Sie könnten potenziell verpassen, in Antworten auf relevante Abfragen aufgenommen zu werden.

Das Szenario mit The New York Times ist besonders aufschlussreich. Die Publikation hat sich in einen Urheberrechtsstreit mit OpenAI verwickelt. Seitdem hat sie eine klare Haltung eingenommen, indem sie Google-Extended verwendet, um den Zugriff auf ihre Inhalte für das Training von KI-Modellen zu blockieren.  

Googles experimentelle Search Generative Experience (SGE) deutet auf eine potenzielle Verschiebung in der Art und Weise hin, wie Informationen für Nutzer kuratiert und präsentiert werden. Sie hebt KI-generierte Inhalte gegenüber traditionellen Suchmethoden hervor. Die Entscheidungen, die von Tech-Unternehmen und Webverlegern getroffen werden, werden das digitale Ökosystem prägen. Sie wird beeinflussen, wie Informationen im KI-Zeitalter zugänglich gemacht und konsumiert werden.