NVIDIA Broadcast научили имитировать взгляд пользователя в камеру, когда он смотрит в другую сторону — используется ИИ и дипфейк

[душман]

Стриминговое ПО NVIDIA Broadcast получило интересную функцию. Приложение может имитировать взгляд пользователя в объектив камеры даже в случае, если смотрит совсем в другую сторону.Использующая алгоритмы ИИ функция Eye Contact заменяет изображение глаз их имитацией со «взглядом», направленным точно в камеру. Правда, работает она далеко не всегда корректно.

По словам разработчиков, функция Eye Contact упрощает запись видео и освобождает пользователя от необходимости смотреть точно в объектив камеры. Таким образом можно общаться с удалёнными собеседниками, читая постороннюю информацию или одновременно набирая текст на клавиатуре. В NVIDIA утверждают, что «имитированные» глаза будут точно того же цвета, что и настоящие, кроме того, поддерживается отключение функции, если пользователь отвёл взгляд слишком далеко.

На демонстрационном видео можно оценить качество работы функции: слева размещено видео с камеры без редактированного контента, справа — оно же с расположенной рядом камеры после обработки NVIDIA Broadcast. Нетрудно заметить, что Eye Contact пока является не вполне идеальным решением — временами глаза движутся хаотично, а радужная оболочка то расширяется, то сужается. 

При желании можно увидеть и другие недостатки. Впрочем, для собеседника, внимательно не всматривающегося в экран, разница будет не столь заметной. В последние годы NVIDIA активно инвестирует в технологии машинного обучения и системы искусственного интеллекта на базе нейронных сетей. Функция Eye Contact является ярким тому подтверждением.

Помимо Eye Contact, в NVIDIA Broadcast были реализованы другие функции и возможности. В их числе: новые эффекты вроде виньеток, а также инструменты для размывания, замены или удаления фона на видео. Для работы с программным решением необходимо наличие на компьютере видеокарты NVIDIA GeForce RTX.