У медицинского ИИ обнаружилась склонность к дискриминации женщин и расизму

[душман]

Первые попытки поставить искусственный интеллект на службу медицине много лет назад предпринимались ещё компанией IBM с её системой Watson, но по мере развития отрасли эта область применения компьютерных технологий стала всё более обширной. Учёные утверждают, что существующий подход к обучению больших языковых моделей в медицине делает диагностику менее качественной для представителей женского пола и определённых рас.

Издание Financial Times обобщило высказывания экспертов в смежных областях, пытаясь объяснить, почему существующие языковые модели склонны давать более качественные рекомендации в области здравоохранения представителям мужского пола белой расы. По сути, исторически именно на нужды этой категории пациентов работала вся сфера медицинских исследований, поэтому именно для этой выборки сформировано максимальное количество медицинских данных, на которых и обучались современные большие языковые модели. 

Более того, та же OpenAI призналась, что в ряде медицинских инициатив использовала менее совершенные языковые модели, чем существующие сейчас — просто по той причине, что на момент реализации проектов других не было. Сейчас специалистам стартапа во взаимодействии с медиками приходится вносить соответствующие коррективы в работу профильных систем. В ряде случаев большие языковые модели дают не самые чёткие и правильные медицинские рекомендации по причине использования слишком широкого спектра источников данных для своего обучения. 

В принципе, если в эту выборку попадали даже советы непрофессионалов на страницах Reddit, то качество подобных рекомендаций с точки зрения профессиональных медиков уже можно поставить под сомнение. Специалисты предлагают формировать материал для обучения медицинских систем более ответственно, а также использовать более локализованные данные в пределах одной страны или даже местности. Это позволит лучше учитывать локальную специфику с точки зрения здравоохранения.

Отдельной проблемой для клиентов больших языковых моделей, пытающихся с их помощью получить советы в области здравоохранения, является низкий приоритет при обработке неграмотно или сумбурно составленных запросов. Если в них содержатся грамматические или орфографические ошибки, система с меньшей вероятностью выдаст корректные рекомендации по сравнению с тем запросом, который с этой точки зрения был составлен безупречно. Нередко системы настроены так, что просто рекомендуют обратиться автору запроса к врачу, если качество самого запроса не соответствует определённым критериям.