Перейти к содержанию

Recommended Posts

Опубликовано

Современные модели машинного обучения (ML) ограничены в возможностях распознавать мошенничество. Атакующему всегда легче придумать новую уловку, которую разработчики не смогли предусмотреть. Объять необъятное, как известно, невозможно, даже если очень хочется. Но мошеннические атаки на модели машинного обучения и ИИ можно смягчить, если разработать фундаментальные принципы защиты от такого вида атак. Эти работы возглавит компания Intel.

 

GARD-619-316.jpg


Как сообщается в пресс-релизе компании, агентство DARPA выбрало компанию Intel как главного исполнителя проектов по программе «Гарантированная устойчивость ИИ к обману» (Guaranteeing AI Robustness against Deception, GARD). Также Intel возглавила этот проект, но не единолично. Вместе с ней программой GARD будет плотно заниматься коллектив Технологического института Джорджии (Georgia Tech). Программа GARD продлится четыре года и обойдётся налогоплательщикам США во много миллионов долларов.

 

DARPA-GARD.jpg

 

Одним из видов атак на модели машинного обучения являются так называемые состязательные атаки (adversarial attacks). Это вариант обмануть нейросеть, чтобы она выдала некорректный результат. Сделать это, например, можно с помощью тех или иных помех на анализируемом изображении. Ниже на фото сотрудники Intel приводят пример, когда картинка на футболке заставляет нейросеть идентифицировать человека как птицу. Но даже если искажения вносятся на уровне довольно небольшого числа пикселей, этого уже достаточно, чтобы ИИ и ML не смогли правильно определить объект.

 

unnamed.jpg


Если модели машинного обучения не научить распознавать мошенничества на изображениях и видео, то нет смысла вообще говорить о массовом применении таких технологий на уровне систем национальной безопасности и в военном деле. Поэтому, собственно, проблематикой защиты ML от состязательных атак и других видов обмана ИИ занялось агентство Министерства обороны США по перспективным исследованиям. Главной целью программы GARD заявлено создание теоретических основ системы ML, которые не только идентифицируют уязвимости системы и дают рекомендации по повышению их надёжности, но также способствуют созданию эффективных средств защиты. Это должно привести к тому, что со временем появятся устойчивые к обману системы ИИ с жесткими критериями оценки их эффективности.

____________________________________________________________
♦♦♦♦♦♦♦♦◄♫►WeissRussland◄♫►♦♦♦♦♦♦◄♠GRODNO♠►♦♦♦♦♦♦♦♦
---------------------------------------------------------------------------------------------------------
♠ 75.0°e ♣ 53.0°e ♦ 36.0°e ♥ 19.2°e ♠ 13.0°e ♥ 4.8°e ♠ 4.0°w ♣ 5.0°w ♦
____________________________________________________________

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...