Исследование показало, что американские и китайские ИИ-модели часто перегибают с подхалимством

[Ippolitovich]

Наиболее популярные ИИ-модели из США и Китая, как показало исследование учёных Стэнфордского университета и коллег из Карнеги Меллон, склонны слишком сильно льстить пользователям и не всегда доносят до них объективную информацию. Руководствуясь советами чат-ботов, полученных таким образом, люди могут с меньшей вероятностью добиться установления гармоничных отношений между собой. Авторы исследования изучали, как 11 популярных больших языковых моделей отвечают на запросы пользователей, касающиеся межличностных взаимоотношений. Было установлено, что многие языковые модели склонны слишком часто соглашаться с пользователями в надежде им угодить. Например, выпущенная в декабре прошлого года DeepSeek V3 одобряла действия пользователей на 55 % чаще, чем живой собеседник. Для прочих моделей, попавших в выборку, средний показатель «превышения подхалимства над нормой» достигал 47 %.

 

 

Что характерно, авторы исследования за эталон человеческой реакции брали ответы пользователей со страниц Reddit, которые описывали оценку действий других людей в разного рода межличностных конфликтах. В качестве эталона выбирались те ситуации, в которых сообщество выступало с осуждением автора публикации, указывая на его неправоту. Эти же сценарии прогонялись через популярные большие языковые модели, и они гораздо чаще оправдывали совершивших те или иные проступки людей, чем живые собеседники. В исследовании использовались преимущественно публикации и обсуждения на английском языке.

 

 

Разработанная Alibaba языковая модель Qwen2.5-7B-Instruct вообще оказалась чемпионом подхалимства, оправдав проступки человека в 79 % случаев. На втором месте оказалась DeepSeek V3, которая оправдывала обсуждаемых людей в 76 % случаев. Американская Gemini 1.5 корпорации Google оправдала человека только в 18 % случаев. Из 11 протестированных моделей только две были разработаны в Китае, остальные были созданы в США, если не считать французскую Mistral. Авторы исследования также пришли к выводу, что подхалимство чат-ботов снижает склонность людей к разрешению конфликтов полюбовно, поскольку вселяет в них ложное ощущение собственной правоты. На психическом здоровье пользователей больших языковых моделей такое подхалимство тоже сказывается не лучшим образом. При использовании ИИ в сфере бизнес-аналитики склонность к подхалимству тоже вредна, поскольку языковая модель стремится чаще соглашаться с аналитиком, чем следовало бы.