Нужно вскрыть «черный ящик» искусственного интеллекта, пока не станет слишком поздно

[Ippolitovich]

На протяжении нескольких лет в 1980-х годах абитуриентов Медицинской школы больницы Святого Георгия в Лондоне отбирали, используя высокотехнологичный метод. Компьютерная программа, одна из первых в своем роде, просматривала резюме, выбирая из всех заявок порядка 2000 кандидатов в год. Программа анализировала записи о поступлениях, изучая характеристики успешных заявителей, и корректировалась до тех пор, пока ее решения не совпадали с мнением приемной комиссии.

 

 

Однако программа научилась находить больше, чем хорошие оценки и признаки академических достижений. Через четыре года после реализации программы два врача в больнице обнаружили, что программа, как правило, отвергает женщин-претендентов и лиц с неевропейскими именами, независимо от их академических достоинств. Врачи обнаружили, что порядка 60 претендентам каждый год просто отказывали в собеседовании из-за их пола или расы. Программа включала гендерные и расовые предубеждения в данные, используемые для ее обучения — по сути, научилась тому, что женщины и иностранцы не лучшие кандидаты в доктора.

Тридцать лет спустя мы столкнулись с аналогичной проблемой, но программы с внутренними предубеждениями теперь шире распространены и принимают решения с еще более высокими ставками. Алгоритмы искусственного интеллекта, основанные на машинном обучении, используются повсюду, начиная с правительственных учреждений и заканчивая сферой здравоохранения, принимая решения и делая прогнозы, основанные на исторических данных. Изучая закономерности в данных, они также поглощают и предубеждения в них. Google, например, показывает больше рекламы низкооплачиваемой работы женщинам, чем мужчинам; однодневная доставка Amazon минует негритянские кварталы, а цифровые камеры с трудом распознают лица не белого цвета.

Трудно понять, является ли алгоритм предвзятым или справедливым, и так считают даже компьютерные эксперты. Одна из причин заключается в том, что детали создания алгоритма часто считаются запатентованной информацией, поэтому их тщательно охраняют владельцы. В более сложных случаях алгоритмы настолько сложны, что даже создатели не знают точно, как они работают. Это проблема так называемого «черного ящика» ИИ — нашей неспособности увидеть внутреннюю часть алгоритма и понять, как он приходит к решению. Если оставить его запертым, наше общество может серьезно пострадать: в цифровой среде реализуются исторические дискриминации, с которыми мы боролись много лет, от рабства и крепостничества до дискриминации женщин.

Эти беспокойства, озвученные в небольших сообществах информатиков ранее, теперь набирают серьезный оборот. За последние два года в этой области появилось довольно много публикаций о прозрачности искусственного интеллекта. Вместе с этой осведомленностью растет и чувство ответственности. «Могут ли быть какие-нибудь вещи, которые нам не стоит строить?», задается вопросом Кейт Кроуфорд, исследователь в Microsoft и соучредитель AI Now Insitute в Нью-Йорке.

«Машинное обучение наконец-то вышло на передний план. Теперь мы пытаемся использовать его для сотен различных задач в реальном мире», говорит Рич Каруана, старший научный сотрудник Microsoft. «Вполне возможно, что люди смогут развернуть вредоносные алгоритмы, которые значительно повлияют на общество в долгосрочной перспективе. Теперь, похоже, внезапно все поняли, что это важная глава в нашей области».