Apr 20, 2019 • 06:25

Нейросеть Facebook позволила управлять движениями людей, снятых на видео

Apr 20, 2019 • 06:25

Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →

Благодаря труду команды разработчиков Facebook AI Research, нейронную сеть обучили распознавать движущегося человека на видео, менять фоновое изображение и контролировать его движения. Разработчики поделились подробным видеороликом.

На основе технологии, придуманной разработчиками из Facebook, лежат два нейросетевых алгоритма — Pose2Pose и Pose2Frame для переноса объектов из одного видео в другое. Также они задействовали алгоритм DensePose, который превращает двумерное изображение снятого на видео человека в трехмерную модель.

Чтобы превратить обычное видео в компьютерную игру, алгоритм DensePose создает 3D-модель определенного человека. Далее алгоритм Pose2Pose превращает запись с анимацией движущегося человека в видеоролик с черным фоном. Уже на этом этапе нейронная сеть способна воспринимать нажатия на клавиатуру и двигать «игрового персонажа» в нужную сторону. Наконец, алгоритм Pose2Frame создает конечное изображение с движущимся человеком и соответствующей анимацией.