Компании ИИ протестуют против запрета Cloudflare на сбор данных ботами ИИ по умолчанию
- Cloudflare теперь по умолчанию блокирует краулеры ИИ, предоставляя владельцам сайтов больший контроль над тем, как их контент используется и доступен.
- Это решение вводит рынок «Оплата за краулинг», где компании ИИ должны компенсировать издателям доступ к данным.
- Крупные издатели поддерживают этот сдвиг, поскольку боты ИИ, такие как OpenAI, активно скрапили контент при минимальном возврате трафика.
Cloudflare, компания интернет-инфраструктуры, отвечающая за маршрутизацию около 20% глобального веб-трафика, объявила, что начнет блокировать краулеры искусственного интеллекта (ИИ) по умолчанию.
Изменение, вступающее в силу во вторник, меняет порядок, согласно которому компаниям ИИ будет разрешен доступ к контенту, размещенному в сети, после того как издатели потребовали большего контроля и компенсации за свои данные.
Сеть доставки контента (CDN) помогает веб-сайтам кэшировать и обслуживать данные ближе к пользователям. В рамках новой политики любой новый домен, регистрирующийся для использования услуг Cloudflare, будет запрошен решить, когда и если ИИ-ботов может получить доступ к их контенту, или они могут выбрать полную блокировку скреперов.
Cloudflare запускает инструменты для контроля доступа ИИ
Это изменение дополняет более ранние инициативы Cloudflare по предоставлению издателям большего контроля над их данными. В прошлом году компания представила решение в один клик для блокировки всех известных ботов ИИ и панель мониторинга активности краулеров. Владельцы сайтов используют этот инструмент для различения краулеров, собирающих данные для обучения ИИ, поисковых систем или других целей.
Анонс во вторник формализует эти меры защиты и применяет их по умолчанию. «Краулеры ИИ собирали контент без ограничений. Наша цель — вернуть власть в руки создателей, продолжая помогать компаниям ИИ в инновациях», — заявил генеральный директор Cloudflare Мэтью Принс в заявлении, опубликованном сегодня.
Согласно записям компании, система Cloudflare Pay per Crawl, являющаяся основой этой инициативы, представляет собой рынок, где компании ИИ и владельцы контента могут договориться о компенсации за каждый доступ.
Обе стороны должны иметь учетные записи Cloudflare, и после настройки они могут договариваться о ценах и условиях для деятельности по сбору данных. Cloudflare выступает в роли брокера в транзакции, взимая плату с компании ИИ и передавая заработанные средства издателю.
Разработчики ИИ сожалеют об ограниченном доступе к веб-сайтам
Несколько разработчиков ИИ, включая оценивает аудиторию бесплатного плана ChatGPT более чем в 1 миллиард еженедельно активных пользователей, и именно рекламная модель помогает поддерживать работу бесплатной версии., поддерживаемую Microsoft компанию искусственного интеллекта, стоящую за ChatGPT, отказались участвовать в программе. В недавнем публичном заявлении компания раскритиковала Cloudflare за внедрение нового посредника между издателями и разработчиками ИИ.
OpenAI упомянула, что имеет историю соблюдения протокола robots.txt — файла, который позволяет операторам веб-сайтов контролировать доступ краулеров, и настаивала на том, что уважает предпочтения сайтов.
В анализе от июня Cloudflare утверждает, что обнаружила разрыв между частотой сбора данных и реферальным трафиком. Например, краулер Google посещал веб-сайты 14 раз на каждое посещение, которое он направлял обратно. В то время как бот OpenAI собирал данные с сайтов 17 000 раз на каждую реферальную ссылку.
Британский технологический юрист Мэтью Холман сказал CNBC, что краулеры ИИ могут быть навязчивыми и потенциально вредными для пользовательского опыта.
“Их обвиняют в перегрузке веб-сайтов и значительном влиянии на пользовательский опыт», — он заявил. Холман добавил, что если система Cloudflare будет работать как задумано, это может ослабить способность чат-ботов ИИ собирать и обучаться на больших объемах веб-данных.
Издатели поддерживают Cloudflare
Крупные медиакомпании поддерживают усилия Cloudflare по возвращению контроля над цифровым контентом. Издатели, включая TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK и Fortune, согласились блокировать ботов ИИ по умолчанию.
Медиа-издания принимали сбор данных с таких платформ, как Google, в обмен на трафик и рекламные доходы. Но текущая экосистема, движимая ИИ, не имеет такого взаимного обмена. Для многих платформы ИИ, такие как ChatGPT и Claude, потребляют контент без значимого взаимодействия или доходов для первоисточников.
Cloudflare заявляет, что продолжит работать с разработчиками, чтобы побудить краулеры ИИ, желающие получить доступ, раскрывать свою личность, цель и поведение при сборе данных.
«Оригинальный контент — это то, что делает Интернет одним из величайших изобретений прошлого века», — заявил генеральный директор Мэтью Принс. «Мы должны объединиться, чтобы защитить его».
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Флоренс Мучай
Флоренс уже 6 лет освещает новости в сферах криптовалют, игр, технологий и искусственного интеллекта. Её образование по специальности «Компьютерные науки» в Университете науки и технологий Меру, а также обучение управлению в чрезвычайных ситуациях и международной дипломатии в MMUST обеспечили ей отличные языковые навыки, наблюдательность и технические компетенции. Флоренс работала в группе VAP Group и была редактором в нескольких крипто-медиа.
