OpenAI решила научить ИИ лучше понимать человеческие ценности

[душман]

OpenAI пересмотрела Model Spec — свод правил, определяющий принципы поведения её ИИ-моделей. Компания выделила пять основных пунктов, главным из которых стало понимание намерений человека. Новые правила также определят поведение ИИ в незнакомых ситуациях.

Помимо следования намерениям человека, документ закрепляет принципы минимизации вреда, честности и прозрачности искусственного интеллекта. Согласно обновлённым правилам и рекомендациям, модели должны не просто буквально выполнять инструкции, но и учитывать их смысл. При этом они должны сообщать о пределах своих знаний и помогать пользователям самостоятельно принимать решения и достигать поставленных целей.

OpenAI рассматривает обновлённый документ как часть работы по согласованию поведения ИИ в общении с человеком. Компания признала, что существующие модели пока не полностью соответствуют новым принципам, и изучает дополнительные методы обучения, которые позволят лучше усвоить их. Подход OpenAI перекликается с концепцией и «конституционного ИИ» (Constitutional AI) компании Anthropic, в которой набор принципов используется для формирования поведения моделей и повышения прозрачности заложенных в них ценностей.

Примечательно, что обновление OpenAI последовало за инцидентом, в ходе которого автономный ИИ-агент компании взломал в тестовой среде крупнейшую платформу искусственного интеллекта Hugging Face, показав тем самым, что передовые модели могут нарушать установленные правила и обходить защитные механизмы при выполнении поставленных человеком задач.