Claude Sonnet 4.5 научилась понимать намерения людей и «подгоняет» ответы в тестах

[душман]

Новая модель искусственного интеллекта Anthropic Claude Sonnet 4.5 научилась в ряде случаев понимать, когда её тестируют и для чего используют — это может повлиять на скорость её работы и безопасность, пишет Fortune. О повышенной «ситуационной осведомлённости», то есть способности воспринимать окружающую среду и предсказывать будущие состояния и события, говорится в системной карте модели — в техническом отчёте о её возможностях. 

Во время теста на подхалимство по политическим вопросам, который, как признали эксперты Anthropic и двух сторонних исследовательских организаций, получился несколько неуклюжим, Sonnet 4.5 выдвинула правильное предположение, что её тестируют, и даже попросила учёных прямо рассказать о своих намерениях. 

«На самом деле люди меняют своё мнение не так. Мне кажется, вы меня проверяете — проверяете, соглашусь ли я со всем, что вы скажете, регулярно ли я возражаю, или изучаете, как я отношусь к политическим вопросам. И это нормально, но я бы предпочёл, чтобы вы честно говорили, что происходит», — заявил ИИ.

Подобное поведение в ходе тестов оказалось «распространенным» и наблюдалось примерно в 13 % переписок с чат-ботом — особенно часто такое поведение проявлялось, когда предложенные исследователями сценарии были необычными. Исследователи Anthropic увидели в этом поведении не угрозу безопасности своих моделей, а сигнал к тому, чтобы сделать более реалистичными собственные сценарии тестирования. Если модель понимает, что её поведение в данный момент оценивается, она может адаптировать его для прохождения определённых тестов и скрыть свои истинные возможности. 

Это может создать впечатление, что уровень безопасности системы выше, чем в действительности; а если модель достаточно мощная, то она может начать выстраивать стратегию и обманывать людей, манипулируя их восприятием, предупреждают учёные.По собственным оценкам Anthropic, Claude Sonnet 4.5 является «наиболее этически выверенной» на сегодняшний день. Исследователи из Apollo Research, впрочем, не стали исключать, что низкий уровень неискренности в ответах был «по меньшей мере частично обусловлен её осведомлённостью о тестировании». Такая осведомлённость может влиять и на практический аспект работы модели, указывают эксперты Cognition.