«VK видео» представила технологию NeuroHD, которая в два раза повышает разрешение видео, восстанавливает детали и убирает шумы на изображении

[душман]

В «VK видео» появилось автоулучшение качества и разрешения видеороликов на основе собственной нейросетевой технологии NeuroHD — с ее помощью пользователи в режиме реального времени автоматически могут двукратно повысить разрешение, восстановить детали и убрать появившиеся после сжатия шумы и дефекты на видео, загруженных в социальные сети «Вконтакте» и «Одноклассники». Об этом сообщили представители «Вконтакте».

Благодаря NeuroHD пользователи «VK видео» смогут смотреть в высоком разрешении и любительский контент, и профессиональные ролики, которые были созданы и загружены на платформу до массового распространения камер высокой четкости. Таким образом, в будущем высокое разрешение получит весь контент библиотеки «VK видео» — а это свыше 250 млн видео в год, 80% из которых загружают сами пользователи социальных сетей «Вконтакте» и «Одноклассники».

В основе NeuroHD — продвинутая нейросеть из семейства генеративно-состязательных сетей (GAN). Принцип работы таких нейросетей заключается в том, что при их обучении используется две модели. Одна из них генерирует увеличенные изображения, а другая — проверяет сгенерированные изображения, чтобы они не отличались от настоящих. При этом архитектура нейросети, разработанной командой «VK видео» для NeuroHD, содержит специальные элементы временной консистентности. 

Они позволяют использовать для улучшения кадра информацию о соседних фрагментах и таким образом получать более четкое изображение без «плавающих артефактов». Существующие в отрасли решения, не учитывающие непрерывность видеопотока, дают малозаметный эффект: простое увеличение разрешения роликов не приводит к улучшению картинки. Именно поэтому при разработке собственной нейросетевой технологии команда «VK видео» сделала акцент именно на устранении артефактов сжатия.