Блокируют ли ведущие новостные сайты ИИ-краулеры? Раскрытие последних находок
- Большинство ведущих новостных сайтов разрешают неограниченный доступ ИИ.
- GPTBot был заблокирован более чем половиной опрашиваемых веб-сайтов.
- Издатели применяют различные стратегии блокирования краулеров ИИ.
анализ, проведенный Press Gazette, показал, что значительная доля из 100 лучших новостных сайтов на английском языке использует меры для блокировки ИИ-веб-краулеров от доступа к их контенту. Из 106 рассмотренных сайтов 45 не блокировали ИИ-краулеры вообще, в то время как остальные сайты демонстрировали различные степени ограничений.
Инсайты о тенденциях блокировки ИИ-краулеров среди ведущих новостных сайтов
Среди опрошенных новостных сайтов более четырех из десяти позволяют всем ИИ-веб-краулерам скрейпить их контент без каких-либо препятствий. Однако значительная часть, состоящая из 61 сайта, накладывает ограничения, блокируя как минимум одного ИИ-бота. Примечательно, что 32 сайта идут дальше, блокируя два или более ИИ-краулеров, причем некоторые сайты даже запрещают доступ до пяти.
В списке заблокированных ИИ-краулеров лидирует GPTBot, веб-краулер, связанный с ChatGPT, разработанный OpenAI. Поразительные 56,6% опрошенных сайтов запрещают доступ к GPTBot. Сразу за ним следует Google-Extended, еще один часто блокируемый краулер, используемый ИИ-чатботом Google Gemini (ранее называвшимся Bard).
Кроме того, краулеры, такие как Claude-Web, Claudebot, anthropic-ai, Cohere-ai, Perplexity-ai, Seekr и Meltwater, сталкиваются с различными степенями ограничений на опрошенных сайтах.
Заметные исключения и включения
В то время как некоторые крупные издатели выбирают блокировку определенных ИИ-ботов, другие предпочитают не накладывать никаких ограничений. Например, Mirror, Express, Manchester Evening News, Ladbible, Unilad и издания под эгидой Independent и Evening Standard, принадлежащих Лебедеву, разрешают неограниченный доступ ИИ-краулеров.
Аналогично, Politico, дочерняя компания Axel Springer, разрешает доступ ИИ-краулеров из-за соглашения о совместном использовании контента с OpenAI.
В неожиданном ходе событий Daily Beast, принадлежащий IAC, воздерживается от блокировки любых ИИ-ботов, несмотря на то, что председатель компании выступает за компенсацию издателям со стороны ИИ-компаний. Напротив, некоторые политически консервативные сайты, включая GB News, Newsmax, Zero Hedge, Breitbart и Fox News, выбирают не блокировать ИИ-краулеров, отклоняясь от других изданий под эгидой Murdoch.
Последствия и будущие перспективы
Различные подходы, принятые новостными издателями в отношении доступа ИИ-краулеров, отражают продолжающиеся дебаты об использовании контента и правах интеллектуальной собственности в цифровую эпоху. В то время как некоторые издатели выбирают строгий контроль над своим контентом, чтобы защитить его от несанкционированного использования и сохранить контроль над распространением, другие отдают приоритет доступности и сотрудничеству с ИИ-компаниями для распространения контента и инноваций.
По мере дальнейшего развития ландшафта остается неясным, как издатели, ИИ-компании и регулирующие органы будут ориентироваться в сложном пересечении технологий, владения контентом и конфиденциальности пользователей.
Решения, принимаемые новостными издателями в отношении доступа ИИ-краулеров, не только влияют на распространение новостей, но и формируют более широкий разговор об использовании цифрового контента и правах интеллектуальной собственности.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несёт ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений
Эмман Омванда
Экспертиза Эммануэля Омванды охватывает рынки криптовалют, включая фундаментальный и технический анализ. Ранее он работал в различных крипто-медиа-изданиях перед присоединением к Cryptopolitan, включая CoinEdition, The Crypto Basic, CryptoNews Flash и DroomDroom. Он имеет степень бакалавра наук (BSc.) по математике и компьютерным наукам Университета Кеньятта (Кения) и в настоящее время находится на последнем году обучения по степени бакалавра искусств в области коммуникаций и медиаисследований.
