Nvidia научилась определять видеофейки

[душман]

Присутствие созданных искусственным интеллектом материалов неуклонно растёт, и людям всё труднее отличать реальный контент от созданных ИИ подделок. Появляются средства, помогающие выявлять такие материалы — одно из них получило название Nvidia Synthetic Video Detector (SVD).

SVD относится к классу служб Nvidia Inference Microservice (NIM), и она недоступна для потребителей. Её задача относительно проста: определить, является ли видео реальным, или оно было сгенерировано ИИ. Служба анализирует видео в больших масштабах, покадрово разбивая видеоряд для выявления аномалий. 

Система исследует видеофайл не целиком, а разбивает кадры на фрагменты размером 504 × 504 пикселей. Эти фрагменты изучаются двумя моделями: Meta DINOv2 и DINOv3. Их задача — формирование паттернов без подсказок со стороны человека. Обычно эти модели используются для классификации изображений, их поиска, обнаружения объектов и оценки глубины.

Модели изучают пространственные характеристики фрагментов кадров и присваивают им оценки: «0» — изображение полностью реально, или «1» — это точно подделка. По итогам комплексного анализа оценки суммируются, и формируется среднее значение, которое показывает пользователю процентную оценку, является ли предложенное видео подделкой или нет. 

На практике лучшие результаты система показывает при изучении несжатого видео — 92 %. При сжатии на 15 % этот показатель падает до 87 %, а при сжатии на 50 % — до 82 %. Задержка невелика: обработка видео с разрешением 1080p занимает на графических процессорах Nvidia RTX 22 мс, на рабочих станциях Nvidia — 30 мс.

Для работы SVD требуется кодировщик NVENC, поэтому ускорители для центров обработки данных, в том числе Nvidia B100, не могут запускать службу нативно. Совместно с Wowza компания Nvidia сейчас разрабатывает систему обнаружения поддельного видео в реальном времени, которую можно будет встраивать в рабочие процессы потоковой передачи.