Алгоритму обрезки изображений Twitter вменили в вину симпатии к молодым, красивым и светлокожим

[душман]

Социальная сеть Twitter анонсировала результаты открытого конкурса, призванного выявить систему предпочтений, отдаваемых искусственным интеллектом при создании превью изображений, которые загружаются пользователями. Компания отключила эту функцию в марте в ответ на жалобы в предвзятости ИИ в отношении чернокожих. После этого она объявила конкурс на поиск бага, ведущего к подобным последствиям.

Конкурс подтвердил прежние «открытия». Победитель выяснил, что алгоритм отдаёт предпочтение худым, молодым, со светлым или тёплым оттенком кожи, с гладкой текстурой кожи и стереотипно женственными чертами лица. Второе и третье места заняли исследователи, доказавшие, что система предвзята в отношении людей с белым или серым цветом волос (дискриминация по возрасту) и, наконец, «предпочитает» английский язык арабскому на изображениях.

На презентации результатов на конференции DEF CON 29, глава команды Twitter, занимающейся изучением этики, прозрачности и контроля за алгоритмами машинного обучения Румман Чоудхури высоко оценил работы участников за демонстрацию воздействия «предвзятых» алгоритмов на реальную жизнь. По его словам, речь идёт не только об академическом интересе, но и том, какие схемы работают в самом обществе — создатели фильтров работают, исходя из внутренних убеждений и представлений о прекрасном.

Первый приз в размере 3500 долларов получил Богдан Кулинич из исследовательского университета EPFL в Швейцарии. Он использовал ИИ-программу StyleGAN2 для генерации большого числа реалистичных лиц, отличавшихся по цвету кожи, женственным или маскулинным чертам лиц и полноте виртуальных участников. После этого он «скармливал» изображения алгоритму Twitter. В результате Кулинич пришёл к заключению, что предрассудки алгоритмов усиливают предрассудки в обществе, буквально «вырезая» из жизни тех, кто отличается от «нормы» по весу, возрасту, цвету кожи.

Подобные «предрассудки» более распространены, чем можно подумать. Ещё один участник якобы доказал, что алгоритм благосклоннее относится к более светлым эмодзи. Наконец, ещё одно интересное открытие — выяснилось, что алгоритм Twitter скорее обрежет часть изображения с арабским текстом, чем с английским.

Хотя результаты экспериментов обескураживают правозащитников, они также демонстрируют, как общество может помочь технологическим компаниям. Открытость Twitter контрастирует с поведением некоторых техногигантов. После того как команда Массачусетского технологического института обнаружила схожие предрассудки в алгоритмах Amazon, в компании ответили, что подобные изыскания «вводят в заблуждение» и являются «ложными». Позже Amazon пришлось отступить под давлением аргументов и поднявшейся в Сети шумихи.

По словам судьи конкурса Twitter Патрика Холла, подобные «предрассудки» существуют во всех ИИ-системах, и компаниям необходимо проактивно работать, чтобы выявлять их. «Если вы не ищете ваши баги, и охотники на баги не ищут ваши недоработки, тогда кто найдёт ваши ошибки? Потому что баги у вас есть точно», — заявил он.