DARPA призывает создать единый механизм защиты ИИ от обмана

[Ippolitovich]

Агентство перспективных исследований МО США объявило о запуске новой программы Guaranteeing AI Robustness against Deception (GARD). Программа «Гарантированная устойчивость ИИ к обману» призвана заткнуть дыру в безопасности систем с машинным обучением. Это не обязательно сознательный обман ИИ со стороны враждебно настроенных личностей или таких же ИИ-платформ. Система с машинным обучением может быть введена в заблуждение как несовершенством алгоритма обучения и принятия решений, так и вследствие изменения условий, в которых необходимо принимать решение. Цена ошибок может быть большой и даже неоценимой, если речь идёт об ИИ, которые вовлечены в процессы по обеспечению жизнедеятельности человека.

 

В рамках программы GARD будут преследоваться три основные цели. Во-первых, создание фундаментальных теоретических обоснований защищающихся ML и соответствующей терминологии. Во-вторых, разработка и тестирование защищающихся систем в широком спектре назначения и настроек. В-третьих, построение испытательного стенда для представления защищающихся систем машинного обучения (ML) в сценариях различных угроз.

 

 

Работу по созданию защищающихся систем машинного обучения предполагается начать с защиты систем распознавания изображений. Например, подобные системы используются в самоуправляемых автомобилях, которые в случае ошибочной интерпретации дорожных знаков могут оказаться в аварийной ситуации. Затем от ошибок и введения в заблуждение будут избавлять обучающиеся системы с обработкой видео, аудио и более сложные ― с множеством разнообразных датчиков. Также будут проводиться работы для создания систем с умением предсказывать ситуации, принимать решения и адаптироваться к различным условиям в течение времени жизни системы.

 

 

Программа GARD не будет ограничена чисто математическими или аппаратными наработками в области искусственного интеллекта и машинного обучения. Будут рассматриваться также биологические механизмы защиты на примере работы иммунной системы. Природа научила живые организмы идентифицировать атаки, запоминать их и противодействовать угрозам. Почему бы ни применить подобные алгоритмы для защиты искусственного интеллекта?