Компании, занимающиеся искусственным интеллектом, протестуют против запрета Cloudflare на автоматическое извлечение контента ИИ-ботами

Компания Cloudflare, разработчик интернет-инфраструктуры, отвечающая за маршрутизацию около 20% мирового веб-трафика, объявила о том, что начнет блокировать поисковые роботы, использующие искусственный интеллект (ИИ), по умолчанию.

Изменения, вступающие в силу во вторник, меняют порядок доступа компаний, занимающихся искусственным интеллектом, к контенту, размещенному в интернете, после того, как издатели потребовали большего контроля и компенсации за свои данные.

Сеть доставки контента (CDN) помогает веб-сайтам кэшировать и предоставлять данные ближе к пользователям. В соответствии с новой политикой, каждому новому домену, регистрирующемуся в сервисах Cloudflare, будет предложено решить, когда и смогут ли боты с искусственным интеллектом получить доступ к его контенту, или же они смогут полностью заблокировать парсеры.

Cloudflare запускает инструменты для контроля доступа к ИИ

Это изменение дополняет предыдущие инициативы Cloudflare, направленные на предоставление издателям большего контроля над своими данными. В прошлом году компания представила решение в один клик для блокировки всех известных ботов ИИ и панель управления для мониторинга активности поисковых роботов. Владельцы сайтов используют этот инструмент, чтобы различать, используют ли поисковые роботы данные для обучения ИИ, поисковых целей или других целей.

Объявление, сделанное во вторник, формализует эти меры защиты и вводит их в действие по умолчанию. «Искусственные сканеры собирают контент без ограничений. Наша цель — вернуть власть в руки создателей, одновременно помогая компаниям, занимающимся ИИ, внедрять инновации», — заявил генеральный директор Cloudflare Мэтью Принс в опубликованном сегодня заявлении.

Согласно документам компании, система Cloudflare Pay per Crawl, лежащая в основе этой инициативы, представляет собой торговую площадку, где компании, занимающиеся искусственным интеллектом, и владельцы контента могут договариваться о вознаграждении за каждый доступ. 

Обе стороны должны иметь учетные записи Cloudflare, и после их создания они смогут обсуждать цены и условия для веб-сканирования. Cloudflare выступает в качестве посредника в сделке, взимая плату с компании, занимающейся искусственным интеллектом, и передавая прибыль издателю.

Разработчики ИИ жалуются на ограниченный доступ к веб-сайту

Несколько разработчиков ИИ, включая OpenAI, компанию по разработке искусственного интеллекта, поддерживаемую Microsoft и стоящую за ChatGPT, отказались от участия в программе. В недавнем публичном заявлении компания раскритиковала Cloudflare за введение нового посредника между издателями и разработчиками ИИ. 

Компания OpenAI упомянула, что ранее соблюдала протокол robots.txt — файл, позволяющий операторам веб-сайтов контролировать доступ поисковых роботов, — и настаивала на том, что учитывает предпочтения сайта.

В июньском анализе Cloudflare утверждает, что обнаружила разрыв между частотой парсинга и количеством переходов на сайт. Например, поисковый робот Google обращался к веб-сайтам 14 раз на каждый полученный ответ. Для сравнения, бот OpenAI парсил сайты 17 000 раз на каждый переход. 

Мэттью Холман, юрист из Великобритании, специализирующийся на технологиях, заявил CNBC, что программы-краулеры на основе искусственного интеллекта могут быть навязчивыми и потенциально вредными для пользовательского опыта. 

«Их обвиняют в перегрузке веб-сайтов и значительном ухудшении пользовательского опыта», — сказал. Холман добавил, что если система Cloudflare будет работать как положено, это может ограничить возможности чат-ботов с искусственным интеллектом по сбору и обучению больших объемов веб-данных. 

Издатели объединились в поддержку Cloudflare

Крупнейшие медиакомпании поддерживают усилия Cloudflare по возвращению контроля над цифровым контентом. Издатели, включая TIME, Associated Press, Conde Nast, The Atlantic, ADWEEK и Fortune, согласились блокировать ботов с искусственным интеллектом по умолчанию. 

СМИ принимали данные, собранные с таких платформ, как Google, в обмен на трафик и доход от рекламы. Но в современной экосистеме, основанной на искусственном интеллекте, такой взаимности нет. Для многих платформы ИИ, такие как ChatGPT и Claude, потребляют контент без значимого взаимодействия и дохода для первоисточников.

Компания Cloudflare заявляет, что продолжит сотрудничать с разработчиками, чтобы побудить ИИ-краулеры, желающие получить доступ к своимdent, раскрывать свою личность, цель и особенности сканирования.

«Именно оригинальный контент делает Интернет одним из величайших изобретений прошлого века, — заявил генеральный директор Мэтью Принс. — Мы должны объединиться, чтобы защитить его»