В Adobe Firefly появится ИИ-озвучка видеороликов

[душман]

Adobe представила ИИ-инструмент для работы со звуком, который позволяет быстро добавлять в видео тематически подходящее фоновое сопровождение и закадровый голос. Инструменты Generate Soundtrack (Генерация саундтрека) и Generate Speech (Генерация речи) будут интегрированы в обновлённое приложение Adobe Firefly.

Функция Generate Soundtrack, уже запущенная в публичной бета-версии, проанализирует загруженное видео и сгенерирует до четырёх вариантов инструментальных аудиодорожек длиной до пяти минут, автоматически синхронизируя их с видеорядом. Пользователи могут выбрать музыкальный стиль из предустановленных вариантов, например, lofi, хип-хоп, классику и другие, либо описать желаемое настроение в текстовом поле, например, «сентиментальное» или «агрессивное». Система также изначально предложит пример текстового запроса на основе анализа видеоконтента.

Что касается авторских прав, то, так как ИИ-модель Firefly, на которой построен Generate Soundtrack, обучена на лицензированном музыкальном контенте, по утверждению компании, это делает созданные треки безопасными для коммерческого использования. Как поясняет глава направления генеративного ИИ в Adobe Александру Костин, Adobe приобрела права на музыку и голоса у правообладателей, поэтому может гарантировать отсутствие рисков, связанных с нарушением авторских прав. 

Это выгодно отличает Adobe от конкурентов, таких как Suno и Udio, которые столкнулись с исками о нарушении авторских прав из-за обучения своих моделей на защищённых материалах. Параллельно запущена в публичной бета-версии функция Generate Speech, позволяющая создавать озвучивание по тексту. Она предлагает более 50 голосов на основе модели Adobe Firefly Speech Model или технологии ElevenLabs и поддерживает свыше 20 языков. Можно регулировать скорость, высоту тона и эмоциональную окраску речи, а также вручную корректировать произношение имён и слов с региональными особенностями.

Кроме того, Adobe разрабатывает веб-редактор Firefly Video Editor, представляющий из себя многодорожечный редактор с временной шкалой для генерации, организации, обрезки и монтажа клипов. Он объединит инструменты для создания озвучки, саундтреков и титров в одном приложении, дополненном покадровым редактированием и стилевыми пресетами. Редактор начнёт поступать в бета-версию в следующем месяце, а для раннего доступа пользователям необходимо зарегистрироваться в листе ожидания.