Yandex Cloud представила нейросеть для бизнеса, способную распознавать эмоции по голосу

[душман]

Yandex Cloud представила нейросеть, способную по голосу распознавать эмоции, негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге. С ее помощью бизнес сможет создавать голосовых помощников и виртуальных операторов кол-центров, сообщили в компании.

"Нейросеть-эмпат разработана на базе технологии распознавания речи Yandex SpeechKit. С ее помощью компании смогут создавать голосовых помощников и виртуальных операторов кол-центров, которые умеют понимать человеческие эмоции. Это позволит бизнесу улучшить качество аналитики телефонных разговоров, а также лучше адаптировать работу кол-центров под каждого клиента и оперативно реагировать на нештатные ситуации во время диалога", - говорится в сообщении.

Новая ML-модель расшифровывает и анализирует эмоции в потоковом режиме. Как отметили в компании, если абонент негативно общается с голосовым помощником, нейросеть может передать информацию об этом во внутреннюю систему заказчика, которая автоматически переключит его на сотрудника кол-центра. Если же оператор нагрубил клиенту, эта система оповестит менеджмент о проблемах во время разговора.

Нейросеть также определяет пол участников разговора и поддерживает технологию speaker labeling - она отмечает принадлежность той или иной реплики, что позволяет полноценно работать с одноканальными звуковыми дорожками. Кроме того, ML-модель расширяет возможности офлайн-аналитики: данные от нейросети помогут понять, какие именно темы и формулировки от оператора вызывают негатив у клиента.

Скоро новая модель заработает в сервисе речевой аналитики SpeechSense, который включает технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких ML-моделей позволит распознавать более сложные эмоции спикера - неуверенность или сарказм. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор, отметили в компании.