Internet Archive оказался под атакой ботов и стал блокировать обычных пользователей

[душман]

Сервис Wayback Machine, позволяющий проследить, как с течением времени менялись сайты и веб-страницы, перестал открываться у части пользователей. Владеющая сервисом платформа Internet Archive откликнулась на жалобы пользователей, объяснив неполадки нашествием ИИ-ботов.

«Мы услышали ваше: „Почините Wayback Machine!“ Вот что происходит. Wayback Machine подвергается волнам большого объёма автоматизированного трафика, и мы развернули средства защиты, чтобы сервис продолжал работать», — рассказал в корпоративном блоге директор сервиса Марк Грэм. К сожалению, из-за этих средств защиты под блокировкой оказываются добросовестные пользователи. 

При блокировке выводится ошибка с кодом 429, указывающим, что пользователь отправил слишком много запросов за определённый промежуток времени. «Если это случилось с вами, нам очень жаль, и мы ценим ваше терпение, продолжая работать над сокращением числа сбоев. Мы всё лучше отличаем ботов от людей, которые зависят от Wayback Machine», — добавил Грэм, предложив пострадавшим отправлять по электронной почте жалобы с указанием ОС, браузера и IP-адреса.

В 2023 году платформа Internet Archive на некоторое время уходила в офлайн, когда некий разработчик систем искусственного интеллекта стал десятками тысяч раз в секунду отправлять запросы на текстовые данные. По той же причине некоторые владельцы сайтов теперь блокируют и сам Internet Archive — они опасаются, что ИИ-боты скачают их материалы с этой платформы.