«Яндекс» представил новую версию машинного перевода, обученную с помощью YandexGPT

[душман]

Большая языковая модель YandexGPT подготовила эталонные примеры текстов, на которых обучили нейросеть в «Яндекс Переводчике». Это позволило сервису точнее понимать контекст, распознавать фразеологизмы и ориентироваться в профессиональной лексике. Об этом сообщили представители «Яндекса».

Переводчик стал качественнее справляться с длинными и сложными текстами. Благодаря дообучению он лучше определяет взаимосвязи внутри предложений и между ними. Кроме того, выросло качество перевода статей узконаправленной тематики. Например, сервис теперь поймет по контексту, что речь идет о языке программирования или фондовом индексе, и оставит их названия без перевода.

«Яндекс» использует технологию машинного перевода на основе нейросетей с 2018 года. Нейросеть в «Переводчике» обучалась только на парах текстов — оригиналах и их переводе на другой язык. Так она училась видеть взаимосвязи между ними и подражать им. Нейросеть, работающая в сервисе, легковесная: это позволяет ей справляться с большим количеством пользовательских запросов в реальном времени.

Большая языковая модель YandexGPT способна генерировать сложные, лексически и стилистически разнообразные тексты, в том числе со специфической терминологией. Поэтому компания использовала ее потенциал для создания эталонных примеров, чтобы расширить датасет и повысить его качество. Так нейросеть в «Переводчике» не утратила скорость своей работы, но стала умнее.

Для генерации эталонных обучающих примеров «Яндекс» разработал специализированную модель семейства YandexGPT, адаптировав ее под задачи перевода. Сначала модель во время этапа pretraining проанализировала множество текстов на английском и русском языках и изучила правила лексики, морфологии и синтаксиса. Следующим этапом шла тонкая настройка языковой модели (supervised finetuning) под задачи перевода. Затем на этапе reinforcement learning ИИ-тренеры оценивали качество перевода YandexGPT и ранжировали ее ответы от лучших к худшим.

Работу дообученной нейросети в «Переводчике» оценивали методом Side by Side (SbS). Асессоры, владеющие русским и английским языком, сравнивали пары длинных и сложных текстов, переведенных с помощью двух версий технологии, и выбирали лучший вариант. В 57% случаев новая версия справлялась лучше. Обновленная технология используется для перевода текстов с английского на русский язык в «Яндекс Переводчике», «Поиске», а также в переводе видео в «Браузере».