Президент Signal призвала не спешить с внедрением ИИ в мессенджерах

[душман]

В то время как большинство технологических компаний стремится расширить использование ИИ-технологий и ускорить внедрение ИИ-агентов, президент Signal Мередит Уиттакер считает нужным предупредить о рисках, связанных с развитием ИИ. В интервью ресурсу Fortune Уиттакер заявила, что рост числа ИИ-агентов представляет собой «экзистенциальную угрозу» не только для защищённых приложений для обмена сообщениями, таких как Signal, но и для всех, кто разрабатывает приложения для телефонов или компьютеров.

По её мнению, спешка технологических гигантов с внедрением ИИ, особенно агентского ИИ, повышает риски безопасности в интернете, которые значительно перевешивают потенциальные выгоды его применения. Для выполнения задач от имени пользователя, ИИ-агентам требуется доступ к его конфиденциальной информации, включая банковские реквизиты и пароли. Однако это создаёт обширную новую «поверхность атаки», которую киберпреступники или спецслужбы могут использовать для кражи конфиденциальной личной или корпоративной информации.

ИИ-агенты особенно уязвимы к атакам с внедрением подсказок (Prompt injection), когда вредоносные веб-сайты содержат скрытые инструкции, которые обманным путём заставляют ИИ выполнять вредоносные действия. Поскольку веб-браузеры на базе ИИ способны читать веб-контент и выполнять с ним действия, злоумышленники потенциально могут, используя уязвимости ИИ, похищать электронную почту, получать доступ к учётным записям, изымать данные, перезаписывать буферы обмена и перенаправлять пользователей на фишинговые сайты.

«Работа агента заключается в том, что он выполняет сложные задачи от вашего имени, используя для этого множество источников данных, — сообщила Мередит Уиттакер в интервью Fortune в кулуарах технологической конференции Slush в Хельсинки (Финляндия), на прошлой неделе. Ему потребуется доступ к вашим контактам и сообщениям в Signal, такой доступ — вектор атаки, который фактически сводит на нет смысл нашего существования».