Facebook значительно ускорила тренировку моделей компьютерного зрения

[Ippolitovich]

Facebook нашла новый способ тренировать модели компьютерного зрения, который должен значительно ускорить работу компании с искусственным интеллектом. С помощью новой техники Facebook может натренировать модель классификации изображений за час, не навредив её точности.

При максимальной производительности с помощью 256 графических процессоров новая система может обрабатывать 40 тысяч картинок в секунду, не жертвуя качеством итоговой модели. Это достижение поможет улучшить качество будущих исследований, поскольку научные сотрудники смогут быстрее проверять свои гипотезы.
Ускорение тренировки моделей машинного зрения важно для Facebook, поскольку она считает дополненную реальность и машинное обучение очень важными элементами для будущего своего бизнеса. Скоро сотрудники компании смогут проводить гораздо больше исследований.
«Они могут сказать: “Ладно, начнём свой день с одного из тренировочных прогонов, выпьем по чашке кофе и посмотрим, как всё прошло”, — говорит Питер Нордхейс (Pieter Noordhuis), инженер-программист команды Facebook по прикладному машинному обучению. — И используя то, что получили, они формируют новую гипотезу, начинают новый эксперимент и занимаются этим, пока день не подойдёт к концу. Так они, возможно, могут провести шесть последовательных экспериментов за день, хотя в противном случае у них могла уйти на это неделя».

Система работает быстрее, поскольку Facebook увеличила размер партий изображений, которые обрабатываются во время тренировки. Это позволяет производить вычисления на большем количестве графических процессоров. Но увеличение партии требует увеличения скорости обучения, что раньше приводило к снижению точности.
Теперь исследователи ввели фазу подогрева, в которой скорость обучения и размер партии картинок медленно увеличивается. Это позволило Facebook достичь при работе с партией из 8192 изображений примерно того же коэффициента ошибок, что и при одновременной обработке 256 изображений.