Netflix научил собственную ИИ-модель без следов удалять объекты из видео и правдоподобно перестраивать сцену

[душман]

Netflix открыл доступ к модели VOID для редактирования видео с помощью ИИ, которая удаляет из кадра объекты и следы их взаимодействия с окружающей средой, а затем достраивает сцену так, чтобы оставшиеся элементы вели себя правдоподобно без удалённого объекта. ИИ-модель уже доступна для установки на Hugging Face и, по данным разработчиков, в опросе 25 участников получила 64,8 % предпочтений против 18,4 % у её ближайшего конкурента Runway.

VOID (Video Object and Interaction Deletion) рассчитана на сцены, где после удаления объекта нужно изменить поведение всего остального кадра. Вместо пересъёмки или полной переработки эпизода с помощью компьютерной графики ИИ-модель позволяет преобразовать уже снятый материал в новую версию сцены. В описании технологии этот подход сводится к простой задаче: убрать из видеозаписи причину события и одновременно пересчитать его последствия.

Netflix относит разработку к ИИ-моделям, работающим одновременно с изображением и текстом. Система не только стирает объект из сцены, но и восстанавливает недостающие части видеоряда так, чтобы оставшиеся элементы выглядели словно удалённого объекта не было. Один из примеров — лобовое столкновение двух машин, которое ИИ превращает в сцену с одной машиной на дороге, убирая второе транспортное средство и перестраивая траекторию первого. 

При наличии обломков, дыма и пламени они тоже удаляются. Второй пример — человек прыгает в бассейн, а система после удаления фигуры перестраивает сцену так, что вода выглядит спокойной и ни в бассейне, ни рядом с ним не остаётся следов всплеска. Авторы ИИ-модели в предварительной научной статье называют VOID системой удаления объектов из видео для физически правдоподобного восстановления изображения в сложных сценах. 

Netflix сравнила модель VOID с Runway, Generative Omnimatte, DiffuEraser, ROSE, MiniMax-Remover и ProPainter. В опросе 25 человек на нескольких сценах VOID выбрали в 64,8 % случаев, Runway — в 18,4 %. Разработчики также утверждают, что проверили ИИ-модель на искусственно созданных и реальных данных и показали её преимущество над базовыми системами восстановления видео и моделями, меняющими видеоряд по текстовому указанию.