Cloudflare обвинила Perplexity в тотальном сборе данных для ИИ в обход любых запретов

[Ippolitovich]

Компания Cloudflare обвинила стартап Perplexity в массовом скрапинге веб-сайтов, которые явным образом запрещают сбор данных. Согласно исследованию Cloudflare, опубликованному 4 августа, боты Perplexity игнорировали технические ограничения, установленные в файле robots.txt, и продолжали извлекать и копировать контент с десятков тысяч доменов, создавая миллионы запросов ежедневно.

Как утверждает Cloudflare, Perplexity изменяла названия своих ботов в поле User-Agent и использовала разные автономные системы (ASN) для обхода блокировок, включая имитацию браузера Google Chrome на macOS. По информации TechCrunch, Cloudflare выявила эту активность после жалоб клиентов, которые уже внесли правила в robots.txt и установили дополнительные блокировки для известных ботов Perplexity. В результате Cloudflare, применив комбинацию методов машинного обучения и сетевых сигналов, исключила ботов Perplexity из своего официального списка доверенных краулеров и внедрила дополнительные механизмы их блокировки.

 

 

Представитель Perplexity Джесси Двайер (Jesse Dwyer) назвал публикацию Cloudflare маркетинговой инициативой, заявив, что представленные скриншоты не подтверждают факт доступа к контенту. В последующем письме он добавил, что упомянутый в отчёте бот не принадлежит компании. Однако Cloudflare настаивает на достоверности своих данных.

Ранее Cloudflare уже выступала с критикой агрессивного скрапинга со стороны ИИ-компаний, а глава Cloudflare Мэтью Принс (Matthew Prince) неоднократно заявлял, что массовый сбор данных подрывает экономику интернета, особенно для новостных издательств. В связи с этим компания выпустила бесплатный инструмент для защиты от копирования контента в целях обучения моделей. Также на фоне происходящего Cloudflare, как и обещала в сентябре 2024 года, запустила торговую платформу, позволяющую владельцам сайтов взимать плату с ИИ-разработчиков за доступ к данным.

Это уже не первое обвинение в адрес Perplexity. В прошлом году издания, в том числе Wired, обвиняли стартап в воспроизведении их материалов без должного указания источника. А на конференции Disrupt 2024 генеральный директор Perplexity Аравинд Сринивас (Aravind Srinivas) затруднился дать чёткое определение плагиату, когда его об этом спросил журналист TechCrunch Девин Колдеви (Devin Coldewey).