Cloudflare объявила войну ИИ-ботам — теперь они будут блокироваться по умолчанию

[душман]

Cloudflare объявила о планах автоматически блокировать веб-ботов смешанного назначения, которые индексируют сайты для поисковых систем, а также выступают в качестве ИИ-агентов и используются для обучения моделей искусственного интеллекта. Ранее компания предлагала клиентам самостоятельно определять эту политику, теперь же позиция по умолчанию будет иметь оборонительный характер.

«Теперь, когда большая часть трафика в интернете исходит не от человека, мы должны пойти дальше и действовать быстрее, чтобы могла развиваться устойчивая экосистема. Новые инструменты и партнёрства Cloudflare предоставляют владельцам сайтов повышенные видимость и коммерческие возможности, а также приносят пользу занимающимся ИИ компаниям, которые используют ботов с ясными и прозрачными намерениями. 

Надеемся, что предлагаемые нами изменения по умолчанию побудят ботов смешанного назначения разделить поиск, агентов и обучение», — пояснил инициативу компании её гендиректор Мэтью Принс. Раньше показатели веб-трафика отражали, что люди просматривают рекламу или оплачивают подписки, однако рост популярности ИИ-моделей, способных посещать сайты от имени пользователей для получения актуальной информации, перевернул эту систему с ног на голову. 

Cloudflare пытается восстановить баланс, справедливый как для разработчиков ИИ, так и для владельцев сайтов. С 15 сентября все новые клиенты и все новые сайты существующих клиентов Cloudflare по умолчанию «будут разрешать поиск, но блокировать обучение и использование агентов для страниц с рекламой». Поисковые роботы смешанного назначения, которые не предоставляют владельцам сайтов возможности выбора, использовать ли их ресурс для ИИ, по умолчанию будут блокироваться на страницах с рекламой. 

Пользователи с бесплатными учётными записями также перейдут на эти настройки по умолчанию, если не откажутся от них до крайнего срока — 15 сентября. Cloudflare также запускает функцию «Оплата за использование» (Pay Per Use) — владельцы сайтов будут получать выплаты всякий раз, когда их материалы появятся в ответах чат-ботов с ИИ. Пока компания заключила партнёрские соглашения с Ceramic.AI и You.com, но, очевидно, надеется, что к инициативе подключатся и другие разработчики.