YandexGPT 2 набрала на ЕГЭ балл, необходимый для поступления в вуз

[душман]

Языковая модель YandexGPT 2 решила несколько вариантов ЕГЭ по литературе. Нейросеть приблизились к среднему баллу (64 по итогам 2022 г.) по этому предмету среди российских школьников, которые выбирают литературу и специально готовятся к экзамену. Она также преодолела минимальный порог, необходимый для поступления в вуз, — 40 баллов. 

Её усреднённая оценка составила 55 баллов. Это первый случай в России, когда генеративная нейросеть сдала единый госэкзамен, выполнив все его задания, включая творческое. Пройти ЕГЭ по литературе — сложная задача для нейросети. Он проверяет знания сразу с нескольких сторон: в нём есть задания для оценки эрудиции, стиля письма и творческих способностей. 

YandexGPT 2 решила обе части экзамена. В первой она анализировала произведение и отвечала на вопросы о нём, во второй — писала сочинение на заданную тему. Алексей Гусаков, технический директор «Поиска» «Яндекса», отметил: «Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. 

Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе. Его задания тесно связаны с текстом, языком и пониманием культурного контекста».