Поисковые системы на базе ИИ направляют на новостные сайты и блоги на 96% меньше реферального трафика, чем традиционный поиск Google

Компании, такие как OpenAI и Perplexity, ранее обещали, что поисковые системы на базе ИИ, предлагаемые их моделями, обеспечат новые источники дохода для издателей, направляя трафик на их сайты. 

Однако, согласно отчету, переданному Forbes платформой лицензирования контента TollBit, было выявлено, что поисковые системы на базе ИИ на самом деле направляют на новостные сайты и блоги на 96% меньше трафика, чем обычный поиск Google. 

Тем временем продолжился рост сбора данных разработчиками ИИ с веб-сайтов, что усиливает разочарование многих издателей в отношении этих инструментов. 

Как поисковые системы на базе ИИ крадут внимание 

Чтобы понять конфликт, развивающийся между издателями и поисковыми системами на базе ИИ, нам нужно вернуться к истокам. 

Поисковая оптимизация (SEO) стала огромным явлением, когда Yahoo! изменился с чистого набора каталогов в 1994 году, предложив поиск в 1995 году. Это было ответом на проблему обнаружения в интернете, и после того, как Google стал первым хорошим поисковым движком в 1997 году, он быстро доминировал в сети и стал важным для пользователей интернета.

Google стал лучшим поисковым движком в сети благодаря своему механизму оценки PageRank, который ранжировал результаты поиска на основе того, сколько других сайтов ссылались на каждый результат.

Сегодня, с распространением поисковых систем на базе ИИ, пользователи предпочитают использовать простые агенты ответов на базе ИИ или более сложные инструменты исследования на базе ИИ в стиле «Deep Research», доступные от нескольких лабораторий ИИ, для проведения онлайн-запросов. 

Эта растущая связь между поисковыми системами на базе ИИ и издателями контента бросает вызов «социальному контракту», который поддерживал релевантность традиционных поисковых систем, таких как Google, для издателей. 

Согласно контракту, издатели предоставляли контент в обмен на реферальный трафик от поисковых систем, и это сформировало основу симбиотических отношений, которые поддерживали экосистему онлайн-медиа на протяжении десятилетий. 

Однако теперь, когда у нас есть сгенерированные ИИ сводки, устраняющие необходимость для пользователей, нуждающихся в прямой информации, посещать первоисточники, динамика значительно изменилась. 

Новое развитие не только угрожает моделям доходов создателей контента, но и заставляет нас поставить под вопрос устойчивость качественной журналистики. 

Натан Шультц, генеральный директор компании Edtech Chegg, считает заявил, что пришло время «сказать нет», объяснив, что нарушение давнего контракта неправильно. 

Очевидно, что ИИ здесь, чтобы остаться, и со временем все больше людей будут обращаться к агентам ИИ, когда у них возникнут вопросы. Один эксперт считает, что это связано с тем, что ИИ прилагает дополнительные усилия, чтобы обеспечить понимание, а не просто помочь вам найти то, что вы ищете. 

Хотя это отличная функция, она оказывает разрушительное воздействие на сайты, зависящие от реферального трафика для выживания. Возьмем для примера Chegg. В январе его трафик упал на 49% в годовом исчислении, что является резким снижением по сравнению со снижением на 8% во втором квартале прошлого года, когда Google выпустил сводки на базе ИИ. 

Снижение трафика так сильно повлияло на Chegg, что компания рассматривает возможность перехода в частные руки или приобретения, согласно тому, что Шультц заявил заявил на созвоне с инвесторами.

Как новостные издатели справляются с новым развитием событий 

Согласно отчету TollBit, поисковые системы на базе ИИ направляют меньше реферального трафика по сравнению с традиционными поисками Google, и наблюдается значительный рост веб-скрейпинга компаниями ИИ, при этом некоторые скрейперы собирали данные с веб-сайтов в среднем 2 миллиона раз в последнем квартале 2024 года. К сожалению, эти скрейпинги часто не приводят к увеличению трафика на затронутых сайтах. 

Издатели не довольны этим и в основном реагируют, подавая в суд на компании ИИ за нарушение прав интеллектуальной собственности. Forbes направил письмо с требованием прекратить действия Perplexity в июне, обвинив его в нарушении авторских прав, а в октябре New York Post и Dow Jones подали в суд на компанию за предполагаемое нарушение авторских прав и приписывание выдуманных фактов медиакомпаниям. 

В то время Perplexity ответила, что иск отражает позицию, которая является «фундаментально краткосрочной, ненужной и самообманывающей».

Ранее в этом месяце группа издателей, включая Condé Nast, Vox и The Atlantic, также подала в суд на корпоративную компанию ИИ Cohere обвиняя ее в предполагаемом скрейпинге 4000 защищенных авторским правом произведений из интернета и использовании их для обучения своего набора больших языковых моделей. 

Проблема усложняется тем, что компании ИИ не идентифицируют своих веб-краулеров должным образом, что затрудняет издателям управление доступом к их контенту. 

Чтобы справиться с этими вызовами, некоторые издатели выбрали сделки по лицензированию контента с компаниями ИИ, которые гарантируют им компенсацию за использование их данных. Другие, такие как TollBit, разработали модели для взимания платы с компаний ИИ за скрейпинг контента. 

По мере дальнейшего развития правовые рамки в области защиты данных и интеллектуальной собственности станут критически важными полями битвы, где права издателей будут потенциально защищаться и расширяться. 

Если позволить вещам развиваться без контроля, аналитики говорят, что мы можем оказаться в эпохе, доминируемой «ИИ-кашей», что означает ситуацию, в которой поставщики высококачественного контента будут вынуждены закрыться, что приведет к значительному снижению качества доступной информации.