Созданы очки с сонаром, которые переводят беззвучную речь в печатный текст

[душман]

Аспирант Корнеллского университета (США) Жуйдун Чжан разработал оборудованные сонаром очки EchoSpeech, способные «слышать» беззвучную речь своего владельца — достаточно лицевой артикуляции. Очки могут использоваться в качестве стандартного устройства ввода.

Новый проект автора основан на предыдущей разработке, в рамках которой он установил камеры на беспроводные наушники. Формат очков оказался для этих целей более удобным: пользователю не нужно смотреть в камеру или вставлять что-то в ухо. 

Данные с установленных на очки динамиков и микрофонов по беспроводному каналу передаются на смартфон, где обрабатываются алгоритмами искусственного интеллекта. При первом использовании требуется калибровка EchoSpeech, позволяющая ИИ изучить особенности мимики пользователя.Достаточно всего нескольких минут, за которые человеку предлагается, например, зачитать несколько чисел. Когда настройка завершена, точность срабатывания системы достигает 95 %. 

Использование смартфона для обработки данных позволяет очкам оставаться компактными и ненавязчивыми, обеспечивать им до 10 часов автономной работы и гарантировать, что вся информация остаётся на телефоне — его производительности достаточно для локальной обработки всех данных.

На практике у EchoSpeech может быть множество самых разных применений: управление программами на ПК, беззвучное управление музыкальным проигрывателем без рук, возможность диктовки сообщения на громком концерте, или даже совместная работа с голосовым синтезатором для людей с нарушениями речи — они снова заговорят. Сейчас авторы проекта рассматривают возможности вывода технологий на рынок при участии действующей в Корнеллском университете программы финансирования.