ИИ-алгоритм Facebook буквально раскрывает людям глаза

[Ippolitovich]

Существует множество вариантов манипуляций с фотографиями, призванных сделать портреты лучше: подавление эффектов красных глаз, бликов объектива, недостатков кожи и так далее. Но до сих пор моргание оставалось одним из главных врагов хороших снимков. Это может измениться благодаря интеллектуальному алгоритму, созданному специалистами Facebook: он убедительно заменяет закрытые глаза людей открытыми.

 

 
Это далеко не единственный пример «умного дорисовывания», когда ИИ заполняет выбранное пространство, ориентируясь на окружение. Adobe, например, уже годами развивает функции заполнения области с учётом контекста или интеллектуального сжатия и растяжения картинок, когда части изображения (например, лишняя ветвь или облако) реалистично заполняются частями окружения.

Но всё же «интеллектуальная заливка» Adobe не способна достойно ретушировать множество вещей, в том числе не умеет заменять закрытые глаза открытыми: до сих пор это казалось слишком уж сложной задачей для автоматики. Facebook, в базе которой, вероятно, больше фотографий моргающих людей, чем у любой другой компании, решила взяться за эту проблему.

Речь идёт об использовании самообучающейся нейронной сети Generative Adversarial Network. Одна часть этой сети учится распознавать открытые глаза людей. А другая — заменяет закрытые глаза открытыми, и на основе отклика от системы распознавания добивается всё более и более высокой реалистичности работы ИИ-алгоритма. Ориентируясь на изображения-образцы, алгоритм добивается ещё большей реалистичности.

 

Результаты, как видно, вполне достоверны: нет несогласования цветов или очевидных мест вклейки. При проверке алгоритма в половине случаев люди ошибочно принимали фальшивые фотографии с открытыми глазами за настоящие, или не могли уверенно определить подвох. Если присмотреться, то в большинстве примеров видно, что с глазами и ресницами у людей что-то не то, но беглый взгляд легко может не увидеть проблемы.

В некоторых ситуациях алгоритм создаёт странные артефакты: например, когда глаза человека частично закрыты волосами или когда не выходит точно воссоздать цвет. Но всё это в перспективе может быть преодолено. Подобную технологию вполне можно представить в повседневном будущем: пользователь хочет улучшить групповое фото, и указывает алгоритму человека, которому следует «открыть глаза», ориентируясь на другие его снимки. Вполне полезная функция для пользователей Facebook, не правда ли?