В последнее время происходят значительные изменения. Ведущие веб-сайты начинают защищать свой контент от таких технологических гигантов, как Google и OpenAI. Этот шаг меняет давние отношения между веб-издателями и поисковыми системами. Сдвиг обусловлен развитием технологий искусственного интеллекта (ИИ).
Веб-сайты защищают свой контент
Традиционно веб-сайты использовали простой, но мощный инструмент, известный как `robots.txt`, для управления взаимодействием поисковых систем с их контентом. Такая организация позволяла веб-сайтам извлекать выгоду из трафика, направляемого поисковыми системами. Однако продвинутые модели искусственного интеллекта внесли новые сложности в эти взаимоотношения. Такие компании, как OpenAI и Google, используют огромные объемы онлайн-контента для обучения своих систем ИИ. Теперь эти системы ИИ могут напрямую отвечать на запросы пользователей, уменьшая необходимость посещения пользователями исходных веб-сайтов. Они нарушают поток трафика от поисковых систем к этим сайтам.
В ответ Google представил новый протокол под названием Google-Extended. Он позволяет веб-сайтам блокировать использование своего контента для обучения моделей искусственного интеллекта. Протокол был запущен в сентябре прошлого года и уже используется примерно 10% из 1000 ведущих веб-сайтов. В их число входят такие известные издания, как The New York Times и CNN.
Сравнение внедрения и взгляд в будущее
Хотя Google-Extended представляет собой шаг к предоставлению веб-сайтам контроля над своим контентом, темпы его внедрения отстают от других инструментов, таких как GPTBot от OpenAI. Возможно, это связано с опасениями по поводу видимости в будущих результатах поиска, основанных на искусственном интеллекте. Веб-сайты, блокирующие доступ к своему контенту, рискуют быть проигнорированными моделями ИИ. Они потенциально могут не попасть в ответы на релевантные запросы.
Ситуация с The New York Times особенно показательна. Издание вступило в спор об авторских правах с OpenAI. С тех пор оно заняло жесткую позицию, используя Google Extended для блокировки доступа к своему контенту для обучения моделей ИИ.
Экспериментальная технология Google Search Generative Experience (SGE) намекает на потенциальный сдвиг в способах отбора и представления информации пользователям. Она делает упор на контент, созданный с помощью ИИ, по сравнению с традиционными методами поиска. Решения, принимаемые технологическими компаниями и веб-издателями, будут формировать цифровую экосистему. Они повлияют на то, как информация будет доступна и потребляться в эпоху ИИ.
