Google представила аудиокодек Lyra для голосовых звонков по очень медленным каналам связи

[душман]

Компания Google представила бета-версию аудиокодека Lyra, который использует машинное обучение для достижения максимального качества передачи речи даже при использовании очень медленных каналов связи. Исходный код Lyra, а также примеры его работы, компания опубликовала на платформе GitHub. Отмечается, что для передачи необработанного звука необходим канал связи со скоростью всего 3 Кбит/с.

Код Lyra написан на C++ с использованием фреймворка Bazel. В текущей версии аудиокодека используется проприетарная библиотека libsparse_inference.so с реализацией ядра для математических вычислений в среде специализированных инструкций, доступных в 64-разрядных процессорах ARM. Компания отмечает, что это временная мера и в дальнейшем планируется разработать открытую замену вышеуказанной библиотеке и обеспечить поддержку различных платформ.

Кодек состоит из кодировщика и декодировщика. Алгоритм работы первого заключается в извлечении параметров голосовых данных каждые 40 миллисекунд, их сжатию и передаче получателю по сети. Задача декодера сводится к преобразованию этих порций данных обратно в звуковую волну, которую можно воспроизвести на стороне слушателя.

По словам Google, архитектура Lyra в большей степени похожа на архитектуру традиционных аудиокодеков, использующих обычные методы сжатия звука. Преимущество Lyra заключается в способности декодеровщика восстанавливать высококачественный сигнал с помощью генеративной системы машинного обучения. Она позволяет воссоздавать недостающую информацию на основе типовых характеристик речи. Модель для генерации звука обучена на основе нескольких тысячах часов с записями голосов на более чем 70 языках. 

По мнению Google, аудиокодек Lyra может применяться в разных сферах. Например, его можно применять для архивирования больших объёмов записи речи, для экономии заряда аккумулятора в смартфонах, а также для снижения нагрузки на Сеть в случаях чрезвычайных ситуаций.