Стоит ли блокировать ИИ-ботов или следует разрешить им доступ?

Когда OpenAI запустила своего чатбота ChatGPT, она также представила своего веб-краулера под названием GPTBot. Их краулер работает так же, как Googlebot, и владельцы сайтов могут заблокировать доступ этих краулеров к своим сайтам через robots.txt. OpenAI также предоставила возможность блокировки своего бота. По данным исследования Originality.AI, около 48% веб-сайтов заблокировали его доступ. После этого Google также объявила о создании отдельного бота Google-Extended, чтобы позволить вебмастерам блокировать свои ИИ-инструменты, не влияя на поисковый бот.

Текущие споры об ИИ-ботах

С момента запуска ChatGPT ведутся постоянные споры о том, как использовать возможность блокировки доступа некоторых ИИ-ботов к сайтам. Нет единого ответа, который мог бы удовлетворить всех заинтересованных сторон, так как дискуссия по этому вопросу продолжается среди игроков SEO-индустрии и почти всех онлайн-изданий. Это второстепенный вопрос о том, окажет ли блокировка этих ботов какое-либо практическое влияние, поскольку многие сервисы сканируют веб без разрешения.

Один из аргументов в пользу этой точки зрения заключается в том, что краулер OpenAI был анонсирован довольно поздно. Компания могла использовать множество различных методов для сбора данных, которые она называет широко доступными в интернете. Вызывает обеспокоенность то, что компании могут использовать ботов под разными именами и от разных поставщиков, поэтому, если вы заблокируете нового бота, вы не сможете вернуть данные, которые уже были им обработаны.

Это облегчило сайтам-скрейперам возможность генерировать контент на основе этих ботов, обученных на ваших данных, созданных людьми. 

Они хотят ваш контент

Некоторые могут полагать, что ИИ-компаниям не нужен их контент, и они однажды смогут производить контент того же качества, что и у них, тогда это станет серьезной проблемой для сайтов, ориентированных на контент. Это также ставит под вопрос эффективность и актуальность практик SEO, которые мы знали. Еще одной проблемой будет то, что будет большое количество сайтов, производящих совершенно одинаковый контент. Таким образом, учитывая эти моменты, некоторые отрасли могут массово блокировать ИИ-ботов. 

Эксперты, выступающие за предоставление доступа к таким ботам, как ChatGPT, обосновывают свой аргумент тем, что сервис не используется как поисковая система, а используется как помощник, особенно для создания кода, перевода и также создания контента. Они также говорят, что доля рынка Bing увеличилась всего на 1% с момента интеграции ChatGPT. В настоящее время Google заявляет, что его ИИ-бот является отдельным, но мы не знаем, что произойдет в будущем, поскольку Google собирается интегрировать ИИ в результаты поиска в будущем.

Сторонники также утверждают, что дело не только в том, что чатботы пишут контент, а в том, что если они упоминают название вашего бренда, то, по их мнению, это также обеспечивает вашей бренду охват более широкой аудитории. Кроме того, если вы заблокируете им доступ, вы предотвратите включение ваших мыслей в обучение будущих LLM. Однако существует высокая вероятность того, что в будущем эти же модели будут генерировать клоны брендов и продуктов, что в конечном итоге усугубит проблему дипфейков.

Угроза, которую ИИ-модели представляют для SEO и Google, заключается не в том, что они являются прямыми конкурентами, а в том, что они могут использоваться для создания контента в больших масштабах. Это нарушает работу поисковых систем, создавая проблемы для Google и Bing, и поглощает трафик, который иначе был бы направлен на существующий контент, созданный людьми. Таким образом, решение о том, разрешать боту доступ или нет, зависит от предпочтений конкретного человека как блогера или издателя как компании после анализа их приоритетов.