Стоит ли блокировать ботов с искусственным интеллектом или лучше разрешить их использование?

Когда OpenAI запустила свой чат-бот ChatGPT, она также представила свой веб-краулер под названием GPTBot. Этот краулер работает так же, как и бот Google, и владельцы веб-сайтов могут блокировать доступ этих краулеров к своим сайтам в файле robots.txt. OpenAI также предоставила возможность блокировки своего бота. По данным исследования Originality.AI, около 48% веб-сайтов заблокировали его доступ. После этого Google также анонсировала отдельный бот Google-Extended, позволяющий веб-мастерам блокировать свои инструменты ИИ, не затрагивая поискового бота.

Продолжающиеся споры об ИИ-ботах

С момента запуска ChatGPT продолжаются споры о том, как извлечь выгоду из возможности блокировки доступа некоторых ботов с искусственным интеллектом к сайтам. Единого ответа, который удовлетворил бы всех заинтересованных сторон, не существует, поскольку дискуссия по этому поводу ведется постоянно среди игроков SEO-индустрии и практически всех онлайн-изданий. Вопрос о том, будет ли блокировка этих ботов иметь какое-либо практическое значение, является второстепенным, поскольку многие сервисы прочесывают веб-пространство без разрешения.

В поддержку этой точки зрения говорит тот факт, что веб-краулер OpenAI был анонсирован довольно поздно. Компания, возможно, использовала множество различных методов для получения данных, которые, по их словам, широко доступны в интернете. Опасения связаны с тем, что компании могут использовать ботов под разными именами и от разных поставщиков, поэтому, если вы заблокируете нового бота, вы не сможете вернуть данные, которые уже были обработаны этим ботом.

Это упростило для сайтов-парсеров создание контента с помощью тех самых ботов, которые обучены на ваших данных, созданных людьми. 

Они хотят ваш контент

Некоторые могут считать, что компаниям, занимающимся искусственным интеллектом, их контент не нужен, и что однажды они смогут создавать контент такого же качества, как и ваш. В таком случае это вызывает серьезную обеспокоенность у сайтов, ориентированных на контент. Это также поднимает вопросы об эффективности и актуальности известных нам методов SEO. Еще одна проблема заключается в том, что будет большое количество сайтов, создающих один и тот же контент. Поэтому, учитывая эти моменты, некоторые отрасли могут блокировать ботов на основе ИИ в больших масштабах. 

Эксперты, выступающие за предоставление доступа к таким сервисам, как боты ChatGPT, основывают свои аргументы на том, что сервис используется не как поисковая система, а как помощник, особенно для создания кода, перевода и контента. Они также утверждают, что рыночная доля Bing увеличилась всего на 1% с момента интеграции ChatGPT. На данный момент Google заявляет, что его ИИ-бот является отдельным сервисом, но неизвестно, что произойдет в будущем, поскольку Google планирует интегрировать ИИ в результаты поиска.

Сторонники также утверждают, что дело не только в чат-боты, но и в том, что, если они упоминают название вашего бренда, это, по их мнению, также обеспечивает вашему бренду более широкую аудиторию. Кроме того, если вы заблокируете им доступ, вы предотвратите включение ваших идей в обучение будущих магистров права. Однако существует высокаяtronтого, что в будущем эти же модели будут создавать клоны брендов и продуктов, что в конечном итоге усугубит проблему дипфейков.

Угроза, которую модели ИИ представляют для SEO и Google, заключается не в прямой конкуренции, а в возможности использования их в качестве инструмента для создания контента в больших масштабах. Это создаст проблемы для поисковой системы, поскольку отвлечет трафик от Google и Bing, который в противном случае потреблял бы уже существующий контент, созданный людьми. Таким образом, в конечном итоге решение о том, разрешать или нет использование ботов, сводится к предпочтениям отдельного блогера или издателя, после анализа их приоритетов.