Amazon расследует утверждения о том, что Perplexity, по слухам, скрапила веб-контент

Представители Amazon заявили, что облачное подразделение компании расследует утверждения о том, что стартап ИИ Perplexity скрапит контент с веб-сайтов без каких-либо разрешений. Это развитие событий произошло после того, как несколько новостных агентств обвинили Perplexity в незаконном извлечении контента.

Perplexity AI, по слухам, игнорирует веб-стандарт, называемый Протоколом исключения роботов. Протокол широко известен как robots.txt, согласно которому веб-сайты определяют, какие страницы могут посещать поисковые системы, ИИ и другие краулеры, согласно отчету WIRED. Forbes также обвинил стартап ИИ в плагиате работ журналистов.

Также читайте: SoftBank инвестирует в альтернативу Google Perplexity AI при оценке в 3 млрд долларов

Соблюдение robots.txt обязательно для сайтов, использующих хостинг или серверы Amazon Web Services (AWS). Хотя большинство веб-сайтов следуют стандарту, закон не обязывает никого следовать протоколу.

Perplexity, по слухам, нарушает веб-стандарты

Представительница Amazon Саманта Майова заявила в пятницу, что компания оценивает информацию о нарушении Perplexity протокола. Новостное агентство WIRED обвинило Perplexity в скрапинге контента с новостных сайтов, которые запрещают такую практику. Важно помнить, что Perplexity использует AWS для своих серверных нужд.

Майова заявила в заявлении, что, 

"[Условия обслуживания Amazon] запрещают злоупотребления и незаконную деятельность, и наши клиенты несут ответственность за соблюдение этих условий", Источник: AP.

Представительница сказала, что компания регулярно получает жалобы из различных источников о предполагаемом неправомерном поведении. Она также добавила, что AWS взаимодействует со своими клиентами, чтобы понять сообщенные проблемы.

Представительница Perplexity AI Сара Платник сказала, что боты фирмы не получают доступ к веб-сайтам способом, противоречащим условиям использования AWS. WIRED опубликовала расследовательский отчет в начале этого месяца, в котором говорилось, что она кормила модель Perplexity AI заголовками со своего новостного сайта вместе с запросами о конкретных темах. Результаты показали близко перефразированные истории, включая ложные утверждения, приписываемые WIRED.   

Несколько изданий обвинили ИИ-единорога в скрапинге контента

Forbes также выдвинул обвинения против Perplexity, заявив, что она занимается плагиатом через новую функцию под названием Perplexity Pages. Издание заявило, что страницы, курируемые Perplexity на своей платформе, показывают контент, похожий на оригинальные публикации новостных агентств, таких как Bloomberg и CNBC.

Вызывает обеспокоенность то, что Perplexity получила репутацию компании, правильно атрибутирующей контент своим создателям. Forbes утверждает, что посты, получившие тысячи просмотров, не упоминают оригинальных издателей в тексте. В нем говорилось, что Perplexity атрибутирует создателям только маленькие логотипы для ссылок, которые легко пропустить.

Также читайте: OpenAI и Microsoft подали в суд за нарушение авторских прав

Associated Press также сообщило, что Perplexity придумала фальшивые цитаты и приписала их реальным людям, что вызывает обеспокоенность. Perplexity привлекла внимание технологических инвесторов и недавно была оценена в 3 миллиарда долларов. 

Стартап привлек более 100 миллионов долларов от инвесторов, таких как основатель Amazon Джефф Безос, главный научный сотрудник Meta Ян Лекун, главный научный сотрудник Google Джеффри Дин. Недавно японская SoftBank также пообещала инвестировать от 10 до 20 миллионов долларов в стартап.

Генеральный директор Perplexity Аравинд Сринивас сказал, что вопрос, поднятый WIRED, отражает «глубокое и фундаментальное непонимание» того, как Perplexity осуществляет свою деятельность. Он сказал, что IP-адрес, который издание обнаружило при скрапинге контента, управляется третьей стороной, предоставляющей услуги веб-краулинга и индексации.

Материал Cryptopolitan от Амира Шейха