Cloudflare обвинила Google в давлении на веб-издателей ради сбора данных для обучения ИИ

[душман]

Глава Cloudflare Мэтью Принс заявил, что Google использует свое доминирующее положение в поисковом бизнесе для получения несправедливого преимущества в обучении нейросетей. Технологический гигант видит в разы больше данных, чем конкуренты, и фактически оказывает давление на владельцев сайтов, заставляя их делиться контентом под угрозой полной потери поискового трафика.

Компания Cloudflare, специализирующаяся на облачной безопасности для веб-сайтов, опубликовала в своём блоге материал, в котором указала на серьёзный дисбаланс на рынке ИИ, возникший из-за поисковой монополии Google. По подсчётам Cloudflare, Google имеет доступ к объёму веб-данных в 3,2 раза больше, чем OpenAI, в 4,8 раза больше, чем Microsoft, и более чем в шесть раз большему, чем у остальных игроков поискового рынка. Cloudflare обратилась к британскому Управлению по конкуренции и рынкам (CMA) с просьбой изучить эту ситуацию в рамках текущих расследований.

Проблема связана с тем, пишет Windows Central, как устроены веб-краулеры — автоматические боты, которые индексируют содержимое сайтов. Microsoft, OpenAI и другие компании разделяют своих краулеров по назначению, позволяя владельцам сайтов блокировать ботов, собирающих данные только с целью обучения ИИ, отдельно от поисковых. Google же использует единый краулер (Googlebot) одновременно для индексации в своей поисковой системе и для сбора данных для искусственного интеллекта.

Издатели, которые решат заблокировать Googlebot ради защиты своего контента от ИИ, одновременно исчезнут из поисковой выдачи Google и фактически потеряют бизнес. Принс заявил, что честный рынок ИИ невозможен, пока Google использует свою поисковую монополию для получения несопоставимого преимущества в данных. 

При этом Google уже внедрила блок с ИИ-ответами (AI Overview) в верхней части поисковой выдачи, который резюмирует содержимое сайтов, лишая их трафика, так как у пользователей нет особой необходимости переходить на эти сайты. Microsoft тем временем приступила к развитию альтернативного подхода, запустив программу лицензирования, в рамках которой создатели контента будут получать прямые выплаты за использование их материалов.