Поискового робота OpenAI теперь можно не пускать к себе на сайт

[душман]

OpenAI сообщила, что администраторы веб-сайтов теперь могут целенаправленно частично или полностью запретить её поисковому роботу GPTBot посещать их ресурсы, указав в служебном файле robots.txt соответствующие директивы.

«Веб-страницы, проскандированные при помощи робота со значением строки user-agent GPTBot, потенциально могут использоваться для улучшения будущих моделей и фильтруются с целью удаления источников, требующих платного доступа, известных сбором информации для идентификации личности или содержащих текст, нарушающий наши политики», — говорится в справочном разделе на сайте OpenAI. 

Для источников, не соответствующих исключающим критериям, «открытие доступа GPTBot к вашему сайту может помочь моделям стать более точными и улучшить их общие возможности и безопасность».

На практике блокировка GPTBot доступа к сайтам — важный шаг, который поможет пользователям интернета отказаться от включения своих персональных данных в массивы информации для обучения больших языковых моделей. В прошлом году платформа DeviantArt внедрила тег NoAI — работы с этой пометкой исключаются из массива обучающих данных ChatGPT.

Обучение ИИ зачастую производится с использованием больших массивов данных, которые собираются в интернете, и разработчики нейросетей пока не раскрывают, какая именно информация для этого используется — непонятно даже, присутствуют ли в списке ресурсов соцсети. Тем временем администрации Reddit и Twitter напрямую выступили против включения их данных в массивы для обучения ИИ — пришлось сделать доступ к API платным.