Компании блокируют веб-скрейперы ИИ, включая GPTBot, что влияет на доступность данных
- Ведущие сайты всё чаще блокируют ИИ-пауков, таких как GPTBot, что влияет на доступность данных для моделей искусственного интеллекта.
- GPTBot от OpenAI сталкивается с растущим сопротивлением: более 250 популярных сайтов теперь его блокируют.
- CCBot от Common Crawl также подвергается блокировкам почти на 14% из 1000 самых популярных сайтов.
По мере роста спроса на точные данные для питания моделей ИИ в интернете разворачивается эскалирующая битва. Компании принимают меры по защите своих данных от веб-скрейперов ИИ, при этом боты GPTBot от OpenAI и CCBot от Common Crawl сталкиваются с растущим сопротивлением. Недавние данные показывают, что более 250 ведущих веб-сайтов теперь блокируют GPTBot, а почти 14% самых популярных веб-сайтов также запретили CCBot, что влияет на доступность жизненно важной информации для обучения ИИ.
Растущая битва против веб-скрейперов ИИ
В эпоху, доминируемую принятием решений на основе данных и искусственным интеллектом, боты для веб-скрейпинга стали как необходимыми инструментами, так и значительными источниками споров. В прошлом месяце OpenAI представила GPTBot, которая была разработана с уважением к десятилетиями существующему протоколу robots.txt, позволяя веб-сайтам сигнализировать о своем желании оставаться неизвлекаемыми. Изначально около 70 из 1000 самых посещаемых веб-сайтов внедрили блоки против GPTBot, включая интернет-гигантов, таких как Amazon и Tumblr.
Недавние исследования Originality.ai выявили значительный сдвиг в ландшафте. За всего три недели число крупных веб-сайтов, блокирующих GPTBot, выросло до более чем 250. В этот обширный список входят такие известные платформы, как Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People, и, по-видимому, все заголовки, опубликованные Hearst и Conde Nast. Даже weather.com присоединился к тем, кто защищает свой контент от ИИ-скрейпера.
Проблема доступности данных
Импульсом за этой волной блокировок веб-скрейперов является критическая роль, которую точные данные играют в обучении мощных моделей генеративного ИИ, таких как GPT-4 от OpenAI. Эти модели сильно зависят от огромных объемов текстовых данных, большая часть которых берется из интернета, несмотря на то, что большая часть из них защищена авторским правом или принадлежит конкретным лицам. Осведомленность об этой практике резко возросла в последнее время, что привело к многочисленным судебным спорам и возможности появления новых правительственных регулирований.
Одновременно многие компании принимают меры по защите своего пользовательского контента и онлайн-активности. Обновляя условия обслуживания и политики для пользователей, технологические компании заявляют о своих правах на доступ и использование пользовательских данных для проектов и обучения ИИ. Этот сдвиг в подходе представляет собой более широкую тенденцию к защите данных и суверенитету данных, при которой компании все больше стремятся контролировать то, как используются их данные, особенно со стороны сущностей, управляемых ИИ.
CCBot является еще одной целью блокировки
В то время как GPTBot привлек значительное внимание из-за своей связи с OpenAI и моделью GPT-4, другой веб-скрейпер, CCBot, используемый Common Crawl, сталкивается со своей долей сопротивления. Common Crawl, организация, базирующаяся в Европе, потратила годы на накопление огромных объемов веб-данных, включая защищенный авторским правом контент, и организацию их для использования в качестве обучающих данных для больших языковых моделей, таких как Llama от Meta.
По состоянию на конец сентября данные Originality.ai показывают, что почти 14% из 1000 самых популярных веб-сайтов внедрили блоки против CCBot. В этот список входят Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker и The Atlantic и другие. Примечательно, что многие веб-сайты, блокирующие CCBot, также распространяют свои ограничения на GPTBot, что иллюстрирует растущую тенденцию к защите данных от веб-скрейперов ИИ, независимо от их аффилированности.
Битва между компаниями, стремящимися защитить свои данные, и веб-скрейперами ИИ, ищущими обучающие материалы, продолжает обостряться. Растущее число веб-сайтов, блокирующих GPTBot и CCBot, подчеркивает возрастающую важность доступности и контроля данных в мире, управляемом ИИ. По мере усиления юридического и регуляторного надзора баланс между использованием данных и их защитой остается критической проблемой как для бизнеса, так и для разработчиков ИИ.
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Амир Шейх
Амир — технологический журналист с почти шестилетним опытом работы в индустриях криптовалют и технологий. Он окончил университет MAJ, получив степень MBA по финансам и маркетингу. Сейчас он работает в Cryptopolitan, где освещает последние события на рынке криптовалют и прогнозы цен.
