«Яндекс Браузер» научился передавать оригинальные голоса и интонации при переводе видео

[душман]

«Яндекс Браузер» запустил перевод видео нового поколения. Нейросети, которые «Яндекс Браузер» задействует в закадровом переводе, научились передавать оригинальные голоса и интонации героев видео. Об этом сообщили представители «Яндекса». Ролики, переведенные в «Браузере» с английского, теперь звучат так, словно их герои владеют русским. «Яндекс Браузер» стал использовать новую нейросетевую модель, которая анализирует англоязычную речь, выделяет тембр, ритм, интонации и воспроизводит их в переводе. 

Для этого модель дополнительно обучили на сотнях тысяч примеров аудио. С переводом нового поколения пользователи теперь могут получать более яркие эмоции от просмотра видео. Это особенно касается роликов, в которых важны особенности речи их участников: записей живых выступлений, скетчей, речей известных людей.

«Яндекс Браузер» также стал точнее переводить смысл сказанного в видео. Теперь он учитывает стилистические особенности речи, что делает формулировки более естественными. Модель на основе YandexGPT, использующаяся в переводе видео, была признана лидером по качеству перевода с английского на русский язык по итогам международного независимого бенчмарка DiBiMT.

Перевод нового поколения уже доступен в «Браузере» во время просмотра роликов, опубликованных на YouTube, в «Поиске» «Яндекса», на «VK Видео», «Дзене» и Rutube. Его могут включить все пользователи, авторизовавшиеся в «Браузере» через «Яндекс ID». Перевод можно выбрать в панели, которая появляется при просмотре видео в «Яндекс Браузере».