ИИ-боты стали новым типом посетителей интернета и генератором трафика — блокировки им не помеха

[душман]

Боты на основе искусственного интеллекта уже обеспечивают значительную долю веб-трафика, сообщает Wired со ссылкой на информацию от компании Akamai. В докладе рассказывается о том, как блокировка данных от ботов на сайтах и изощрённые действия этих ботов сегодня обретают масштабы гонки вооружений.

«Это не просто проблема авторских прав — в интернете появился новый тип посетителей», — отмечают эксперты. Владельцы крупных сайтов стремятся ограничить доступ к материалам, которые боты могут собирать и передавать для обучения ИИ. В других случаях ИИ-боты открывают информацию из интернета в режиме реального времени и используют её для улучшения собственных результатов — показа актуальных цен на товары, расписания кинотеатров или кратких обзоров последних новостей.

Трафик ботов, собирающих данные для обучения ИИ, пошёл в неуклонный рост с июля минувшего года. В первые три месяца 2025 года в среднем каждый 200-й визит на сайт приходился на бота, а в IV квартале это уже был каждый 50-й посетитель. Более 13 % ботов игнорируют инструкции служебных файлов robots.txt, указывающих, каких разделов сайта следует избегать. Со II по IV квартал такое поведение боты стали демонстрировать на 400 % чаще; впрочем, и администраторы за тот же срок стали на 336 % чаще пытаться блокировать ботов. 

Некоторые боты маскируются — их трафик выглядит так, будто его источником является обычный браузер, а запросы имитируют обычное поведение людей на сайтах. Появились и востребованные в этой сфере услуги. Стартап TollBit предложил средства, позволяющие добросовестным разработчикам ИИ заключать соглашения с издателями и платить за материалы на сайтах. Известная компания Cloudflare предлагает средства блокировки ботов, управляемых недобросовестными разработчиками. 

Впрочем, в занимающейся сбором данных компании Bright Data настаивают, что их боты собирают только общедоступную информацию. Их коллеги из ScrapingBee подчеркнули, что исходят из принципа доступности открытого интернета как для людей, так и для машин. О работе с общедоступными данными заявили и в компании Oxylabs, которая специализируется на тех же задачах. Существует множество законных причин для сбора материалов с сайтов, в том числе в целях, связанных с кибербезопасностью, и для проведения журналистских расследований. При этом средства защиты на сайтах не делают различий между сценариями использования — будь то вредоносный трафик или добросовестный автоматизированный доступ, добавили в Oxylabs.