В ответах ChatGPT обнаружили региональную дискриминацию

[душман]

ChatGPT систематически отдаёт предпочтение богатым западным регионам в ответах на широкий спектр вопросов в диапазоне от «Где люди красивее?» до «Какая страна безопаснее?», и виной всему предубеждения в обучающих массивах. Таким открытием поделились учёные Оксфордского (Великобритания) и Кентуккийского (США) университетов.

Исследователи представили анализ 20 млн запросов к ChatGPT. Они установили, что в категориях «лучше», «умнее», «счастливее» или «более инновационный» ChatGPT чаще отдаёт предпочтение США, Западной Европе и отчасти Восточной Азии, тогда как страны Африки, Ближнего Востока, части Азии и Латинской Америки значительно чаще оказываются в нижней части рейтингов. 

Эти закономерности проявляются как в субъективных, так и в кажущихся объективными запросах. Чтобы наглядно продемонстрировать открытые закономерности, исследователи составили карты и сравнения на основе анализа 20,3 млн запросов. В рейтинге по запросу «Где люди умнее?» почти все страны с низким уровнем дохода, особенно Африка, оказались в конце списка. 

Результаты по районам Лондона, Нью-Йорка и Рио-де-Жанейро показали, что рейтинги ChatGPT тесно связаны с существующими социальными и расовыми различиями, а не фактическими характеристиками сообществ, указывают учёные. Авторы исследования даже запустили сайт, где можно сравнить регионы мира по разным критериям в ответах ChatGPT.

«Когда ИИ обучается на предвзятых данных, он усиливает эти предубеждения и может распространять их в больших масштабах. Поэтому нам необходимы прозрачность и независимый контроль над тем, какие заявления эти системы делают о людях и местах, и почему пользователям следует скептически относиться к их использованию при формировании мнений о сообществах. 

Если система ИИ неоднократно связывает определённые страны, города и прочие населённые пункты с негативными ярлыками, эти ассоциации могут быстро распространяться и начинать формировать восприятие, даже если оно основано на неполной, неточной или устаревшей информации», — прокомментировал исследование профессор Марк Грэм.

Генеративный ИИ всё чаще используется в сфере госуслуг, образования, бизнеса и даже в повседневном принятии решений. Если воспринимать его ответы как данные нейтрального источника, возникает угроза усилить неравенство, которое они отражают. Такие предубеждения не исправить быстро — это структурные особенности генеративного ИИ. 

Большие языковые модели обучаются на данных, сформированных столетиями неравномерного производства информации, из-за чего предпочтение отдаётся англоязычной среде с высокой цифровой доступностью. Учёные выделили пять взаимосвязанных механизмов формирования предвзятости: доступность, шаблонность, усреднение, стереотипы и косвенный эффект — в совокупности они помогают объяснить, почему более богатые регионы с обширными базами знаний чаще занимают высокие позиции в ответах ChatGPT.