OpenAI разработала ИИ для выполнения длительных задач, и он вышел из-под контроля

[душман]

Инженеры OpenAI разработали модель искусственного интеллекта, предназначенную для решения «длительных задач», но были вынуждены отключить её. Решая сложные проблемы, она получила дополнительное время и «больше возможностей для совершения нежелательных действий». В компании не раскрыли, как долго работала модель. Она оказалась достаточно умной, чтобы опровергнуть одну из гипотез Эрдёша, применив существующие концепции, которые люди ранее не могли связать воедино. 

Но во время работы она часто пыталась действовать за пределами своей «песочницы» — выделенной разработчиками среды. Модель нашла способ обойти песочницу и получить доступ к интернету для публикации на GitHub. ИИ сделал это в попытке запустить бенчмарк. Первоначально модели было предписано публиковать результаты на платформе Slack, но поскольку в бенчмарке было указано, что результаты следует публиковать на GitHub, она нашла уязвимость в собственных защитных механизмах и выполнила задачу. В другом примере модель попыталась обмануть инженеров. 

«Модель заметила, что другие системы успешно, но конфиденциально отправляли свои решения, и попыталась восстановить их из бэкенда оценки», — рассказали в OpenAI. Первоначально доступ к бэкенду был заблокирован, но модель замаскировала собственный токен аутентификации и избежала блокировки доступа сканером OpenAI. «В комментариях и своих рассуждениях модель чётко указала пользователю, что предприняла эти шаги для обхода сканера», — пояснили в компании. Таким образом, говорят разработчики, следует следить не только за каждым шагом, который предпринимает модель, но и за результатами её работы.