Сбер научил ИИ законам физики - Kandinsky поможет роботам и беспилотному транспорту

[душман]

Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания видеоданных, соответствующих законам физики. Разработка ориентирована на обучение систем Physical AI, включая беспилотный транспорт, промышленных роботов и другие автономные решения. В основу легла модель Kandinsky 5.0 Video Lite, дополнительно обученная на миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов. 

Это позволяет генерировать реалистичные ролики с редкими, опасными или трудно воспроизводимыми ситуациями, которые сложно получить в реальных условиях. Такие синтетические данные помогают ускорить обучение интеллектуальных систем и снизить затраты на сбор информации. Создаваемые видео длительностью около пяти секунд воспроизводят отдельные действия — от манипуляций с предметами до дорожных эпизодов и производственных операций. 

Для повышения достоверности разработчики использовали дополнительное обучение и методы обучения с подкреплением, что улучшило передачу движения, геометрии объектов и физических взаимодействий. Код и веса моделей опубликованы по лицензии MIT и доступны разработчикам бесплатно. Kandinsky WM 1.0 уже используют Центр робототехники Сбера и институт AIRI для подготовки роботов и развития дорожных симуляторов.