Новая система безопасности OpenAI поможет выявлять угрозы, скрывающиеся за цепочкой безобидных запросов

[душман]

Компания OpenAI начала тестировать новый механизм безопасности для клиентов, имеющих доступ к её флагманским ИИ-моделям по платной подписке. По сообщению Bloomberg, меры призваны усилить защиту в условиях, когда клиенты всё чаще доверяют ИИ выполнение сложных задач и работу с конфиденциальной информацией.

На текущий момент OpenAI гарантирует некоторым клиентам, использующим интерфейс API, политику «нулевого хранения данных», при которой не сохраняются запросы и ответы после завершения работы с ИИ. Теперь же, тестируя механизм, который получил название Private Safety Processing («Конфиденциальная обработка в целях безопасности»), OpenAI намерена научить систему выявлять совокупность закономерностей, а не отдельных запросов и ответов. 

Это поможет предотвращать попытки взлома как со стороны злоумышленников, так и со стороны ИИ-агентов, чьё поведение отклоняется от заданных норм безопасности. Необходимость такого изменения в компании объяснили тем, что современные ИИ-модели всё чаще используются для выполнения сложных многоэтапных задач, а вместе с этим растёт и роль инструментов, способных действовать без подробных инструкций пользователя. 

Руководитель продуктовой политики OpenAI Алеа Хоуз рассказала, что потенциальный риск не всегда можно обнаружить, рассматривая только отдельную пару запроса и ответа, поскольку подозрительная последовательность может складываться лишь при анализе нескольких взаимодействий, происходящих с течением времени. По её словам, отдельные обращения к ИИ могут выглядеть как вполне легитимное исследование в области кибербезопасности, тогда как их совокупность способна указывать на подготовку атаки.