Сбер представил модели ИИ, способные распознавать русский жестовый язык

[душман]

Команда Сбера на международной конференции по искусственному интеллекту AI Journey представила нейросетевые модели, позволяющие распознавать русский жестовый язык.Команда Vision RnD в SberDevices, разрабатывающая одно из таких решений, первой в мире представила прототип общения с генеративной языковой моделью при помощи жестового языка в открытом доступе. 

Это стало возможно благодаря использованию GigaChat API, программного интерфейса доступа к сервису GigaChat. Генеративная модель GigaChat сама, без дополнительных преобразований, понимает контекст распознанных жестов. Например, распознанные отдельные слова: «Я Идти Улица Гулять» сервис сам преобразовывает в корректную фразу: «Я пошел гулять на улицу», сохраняя контекст передачи информации.

Текущая версия модели позволяет распознавать более 2500 жестов, включая понимание дактиля (произношение слов по буквам) и возможность распознавать составные жесты. Кроме того, модель понимает терминологию по темам банковской сферы, транспорта, животных, и даже несколько слов из сферы медицины и образования. Этот объем покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.