OpenAI приостановила разработку ИИ-модели Astra — она оказалась "слишком умной"

[душман]

Компания OpenAI заявила, что решила приостановить разработку новой ИИ-модели Astra, поскольку она пока не соответствует новым стандартам безопасности, которые компания внедряет в настоящий момент. Заявление последовало после инцидента с платформой Hugging Face, которая была взломана одной из моделей OpenAI.

«Последние внутренние оценки Astra, одной из наших перспективных моделей, проведённые за последние несколько дней, указывают на её значительные успехи в программировании агентов и кибербезопасности. Эти результаты, наряду с экспертными оценками, позволили нам вчера вечером сделать вывод о том, что мы не можем исключить наличие критически важных кибервозможностей в рамках нашей системы обеспечения готовности (открывается в новом окне)», — говорится в публикации OpenAI.

Preparedness Framework — это внутренняя методология компании OpenAI для отслеживания, оценки и управления рисками, связанными с развитием передовых возможностей искусственного интеллекта. Она помогает систематизировать подходы к безопасности и определять условия, при которых компания готова выпускать, приостанавливать выпуск или дальнейшую разработку моделей ИИ.

«Согласно нашим оценкам в рамках Preparedness Framework, ИИ-модель достигает критического порога в области кибербезопасности, если она может выявлять и разрабатывать функциональные уязвимости нулевого дня всех уровней серьёзности во многих защищённых критически важных системах реального мира без вмешательства человека либо может разрабатывать и реализовывать комплексные новые стратегии кибератак против защищённых целей, имея лишь высокоуровневое описание желаемой цели», — объясняет компания.

По данным OpenAI, модель Astra не была причастна к взлому Hugging Face. Компания собирается внедрить «более строгие меры безопасности для моделей с более высокими возможностями и связанных с ними действий». Для Astra также был внедрён «универсальный мониторинг потенциально рискованных действий и несоответствий во всех агентных приложениях».