ИИ научились взламывать с помощью картинок с подвохом, невидимым для человека

[душман]

Исследование американских учёных показало, что современные системы искусственного интеллекта, способные анализировать картинки, уязвимы для манипуляций при помощи альфа-канала в файлах изображений — набора данных, который отвечает за их прозрачность.

Исследователи из Техасского университета в Сан-Антонио установили, что управляющий прозрачностью изображения альфа-канал зачастую игнорируется при создании средств анализа с ИИ. И он может стать средством для кибератак на системы в области медицины и автопилота. 

Чтобы подтвердить свой тезис, группа учёных под руководством доцента Гвиневры Чэнь разработала метод атаки AlphaDog, эксплуатирующий эту уязвимость в системах ИИ. Из-за альфа-канала люди и ИИ могут воспринимать изображения совершенно по-разному.

Учёные создали 6500 изображений и протестировали их на 100 моделях ИИ, включая 80 систем с открытым исходным кодом и 20 облачных платформ, таких как ChatGPT. Как показали испытания, схема AlphaDog особенно эффективна при атаках в областях изображений в оттенках серого. 

Уязвимости подвержены модели ИИ, лежащие в основе систем автопилота — альфа-канал позволяет манипулировать алгоритмами распознавания дорожных знаков, которые содержат фрагменты в оттенках серого. В результате дорожные знаки могут распознаваться неверно, и возникает угроза тяжёлых последствий.

Ещё один потенциальный объект атаки — системы медицинской визуализации, в которых ИИ помогает с постановкой диагноза. Здесь в оттенках серого часто представляются рентгеновские снимки, результаты МРТ и КТ, и ими тоже можно манипулировать с помощью AlphaDog, что грозит постановкой заведомо неверного диагноза. 

Наконец, предложенная учёными схема атаки эффективна против систем распознавания лиц — это может повлечь проблемы с конфиденциальностью людей и безопасностью охраняемых объектов. Авторы исследования поделились своими выводами с крупными технологическими компаниями, в том числе Google, Amazon и Microsoft, чтобы оказать помощь в устранении обнаруженных уязвимостей в системах ИИ.