Безопасность ИИ-агентов станет встроенной - OpenAI поглотила стартап Promptfoo

[душман]

Компания OpenAI договорилась о приобретении стартапа Promptfoo, специализирующегося на разработке инструментов для тестирования безопасности ИИ-систем на этапе их разработки. По сообщению Bloomberg, сделка направлена на снижение рисков для клиентов, внедряющих программное обеспечение на базе ИИ, и привлечение крупного бизнеса.

Сам стартап существует два года, базируется в Сан-Франциско и предоставляет инструменты с открытым исходным кодом (Open Source) для тестирования безопасности нейросетей, включая процедуру «красной команды» (red-teaming), при которой специалисты имитируют атаки на собственные продукты в процессе их разработки для обнаружения слабых мест до того, как ими воспользуются злоумышленники. 

Клиентами стартапа являются примерно 25 % компаний из списка Fortune 500. Технологии Promptfoo будут интегрированы в корпоративную платформу OpenAI Frontier. После интеграции Frontier получит возможности автоматизированного тестирования, мониторинга изменений и отслеживания результатов проверок для соответствия требованиям безопасности.

Управляющий директор венчурной компании Insight Partners Ганеш Белл, которая возглавила раунд финансирования Promptfoo на сумму $18,4 млн в прошлом году, отметил, что «покупка свидетельствует о явной приверженности компанией OpenAI создания корпоративного ИИ, который будет не только мощным, но и безопасным, и надёжным при масштабировании». 

Финансовые условия сделки не раскрываются. OpenAI продолжит развивать открытый исходный код Promptfoo параллельно с коммерческой интеграцией и уже начала внедрять функции безопасности в свои продукты, представив на прошлой неделе ИИ-агента для поиска и устранения уязвимостей в базах данных, аналогичного инструменту Anthropic PBC.