OpenAI представила основные правила поведения для ИИ-моделей

[душман]

Противоречивые и откровенно лживые ответы ИИ-моделей на запросы пользователей уже никого не удивляют. Но зачастую очень трудно различить банальную ошибку и действительно плохую конструкцию базовой модели ИИ, которая анализирует входящие данные и предсказывает, каким будет приемлемый ответ. 

OpenAI опубликовала проект спецификации фреймворка Model Spec, который будет определять как инструменты ИИ, такие как модель GPT-4, будут реагировать на запросы в будущем. Документ включает в себя набор основных целей, а также рекомендации о том, как действовать в случае указания пользователем противоречивых целей или инструкций.

«Мы публикуем Model Spec, чтобы обеспечить большую прозрачность нашего подхода к формированию поведения модели и начать публичное обсуждение того, как её можно изменить и улучшить», — отметила компания, добавив, что документ будет постоянно корректироваться с учётом новых обстоятельств.

Подход OpenAI предлагает три общих принципа: модели ИИ должны помогать разработчику и конечному пользователю полезными ответами в соответствии с инструкциями, приносить пользу человечеству с учётом потенциальных преимуществ и вреда, а также соответствовать социальным нормам и законам.

Джоан Джанг, менеджер по продуктам OpenAI, пояснила, что идея состоит в том, чтобы получить информацию от общественности, которая поможет определить, как должны вести себя модели ИИ. По ее словам, данное руководство поможет провести более чёткую грань между тем, что является намеренным, и ошибкой. 

Среди предлагаемых OpenAI типов поведения модели по умолчанию — предполагать наилучшие намерения пользователя или разработчика, задавать уточняющие вопросы, не переступать границы, принимать объективную точку зрения, препятствовать разжиганию ненависти, не пытаться изменить чьё-либо мнение или выражать неуверенность. OpenAI уточнила, что публикация Model Spec не отразится на уже вышедших моделях, таких как GPT-4 или DALL-E 3, которые продолжат работать в соответствии с существующими политиками использования.