Xiaomi представила ИИ-модели MiMo V2.5 для преобразования текста в речь и обратно

[душман]

Xiaomi представила две модели искусственного интеллекта, предназначенные для работы с голосом. MiMo-V2.5-TTS позволяет преобразовывать текст в речь, предлагая широкие возможности настройки с минимальными усилиями; MiMo-V2.5-ASR — напротив, создаёт текстовые расшифровки по звуку речи и пения.

Семейство Xiaomi MiMo-V2.5-TTS включает три модели, которые какое-то время будут доступны бесплатно на платформе Xiaomi MiMo Studio. Базовая MiMo-V2.5-TTS позволяет преобразовывать текст в речь с минимальными возможностями: есть набор предустановленных голосов, а также функции настройки скорости речи, тона и эмоционального окраса. 

MiMo-V2.5-TTS-VoiceDesign позволяет создавать новые тембры голоса, используя короткую фразу. MiMo-V2.5-TTS-VoiceClone, как можно догадаться по названию, предназначена для воспроизведения определённого голоса по небольшому набору образцов, сохраняя согласованность по стилям и инструкциям.

Чтобы добиться нужного результата, пользователь может разметить текст заданными тегами или поступить проще — простым естественным языком описать, как должен звучать голос. Можно даже составить сценарий для виртуальных постановок с несколькими голосами сразу. Поддерживаются инструкции на китайском и английском языках.

Открытая модель Xiaomi MiMo-V2.5-ASR предназначена для распознавания устной речи даже в сложных условиях. Она поддерживает несколько китайских диалектов и английский язык, может создавать расшифровки двуязычных диалогов, даже записывать тексты песен, разбирая вокал, который звучит вместе с музыкой, а также распознавать речь в условиях сильного постороннего шума. Важным достоинством Xiaomi MiMo-V2.5-ASR является поддержка пунктуации — знаки препинания расставляются на основе интонаций. Это значит, что для готовой расшифровки достаточно минимальных усилий по редактированию.