«Яндекс» реализовал автоматический закадровый перевод любых видео на английском

[душман]

Компания «Яндекс» официально представила технологию для перевода и озвучки любого видео в интернете, которая построена на основе машинного обучения. Система объединила в себе машинный перевод, технологии биометрии, а также распознавания и синтеза речи. Новая технология позволит пользователям «Яндекс.Браузера» смотреть ролики на иностранном языке с автоматически сгенерированной закадровой озвучкой.

Над созданием прототипа технологии трудились несколько команд разработчиков. В итоге была получена система, автоматически определяющая пол говорящего в видео, чтобы подготовить соответствующий голос. Для более точного сопоставления перевода с картинкой переводчик делает паузы и ускоряет речь в нужных местах. Темп речи переводчика отслеживается и корректируется специальным алгоритмом.

«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. 

Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот.

На данном этапе технология перевода работает только с роликами на английском языке. Разработчики испытали её на видео разной тематики, в том числе роликах об изменении климата, машинном обучении и др. Увидеть, как именно работает прототип технологии перевода можно уже сейчас.