> ## Content Index
> Fetch the complete content index at: https://admin.kod.ru/llms.txt
> Use this file to discover other available public pages before exploring further.

# Нейросеть оживила портрет Достоевского
- URL: https://admin.kod.ru/3161/
- Published: 2019-05-23T06:36:48.000Z
- Updated: 2019-05-23T06:42:11.000Z
- Author: Гайк Даллакян
- Tags: Новости

Российские разработчики представили алгоритм на основе сверточной нейросети, который умеет превращать статичные портреты в анимированное изображение. Их система снимает маску с лица человека на отдельных кадрах из видео, после чего переносит их на отдельные изображения лиц, причем алгоритм может работать даже с одиночным изображением, в том числе с портретами. Описание работы алгоритма доступно в препринте, [опубликованном](https://arxiv.org/abs/1905.08233?ref=admin.kod.ru) на arXiv.org.

![](https://nplus1.ru/images/2019/05/22/9e0098f43c0e87e51eec0af1c28038e3.gif)

Egor Zakharov et al. / arXiv, 2019

Перенос информации между двумя изображениями или видео — задача не из простых. Например, при [наложении](https://nplus1.ru/news/2017/07/13/obama-lip-sync?ref=admin.kod.ru) стороннего аудиоряда на видео с говорящим человеком необходимо точно проследить за тем, чтобы мимика говорящего соответствовала тому, что он произносит. Здесь разработчики уже добились [значительных успехов](https://nplus1.ru/news/2018/09/12/recycle-gan?ref=admin.kod.ru), во многом благодаря большому количеству собранных и размеченных для обучения данных и построенных на них моделях. Проблема состоит в том, что очень частно за основу берутся несколько тысяч целевых изображений (например, кадров из видео) какого-то конкретного предмета или человека, что позволяет «настроить» изображение-источник только на основе его. В идеале подобные системы не должны быть ориентированы на какой-то конкретный объект и должны быть способны использовать в качестве цели (то есть тех изображений, информацию с которых необходимо перенести) минимальное количество кадров.

Упростить задачу переноса информации с видео на статичное изображение решили разработчики из Samsung и «Сколково» под руководством Егора Захарова. В основе их подхода — алгоритм, который обучен на большом количестве кадров, содержащих лица людей. На каждое лицо на таком кадре наложена специальная маска, которая обозначает границы и базовую мимику. То, как такая маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для того, чтобы наложить отдельную маску на изображение человека, после чего готовое изображение сравнивается с ground truth.

![](https://admin.kod.ru/content/images/2019/05/image-92.png)

  
Такая модель в итоге позволила разработчикам переносить информацию между двумя объектами с помощью всего одного или нескольких кадров: для конечного продукта берется изображение-источник и изображение-цель, из которого формируется маска, которая затем накладывается на источник, причем необходимо для этого всего несколько кадров. Интересно, что таким образом можно не только изменить мимику человека на портрете, но и превратить его в анимированное изображение.

В результате у разработчиков получился алгоритм, который может достоверно переносить информацию между изображениями, создавая в итоге «говорящие головы»: при этом для этого не нужно использовать большое количество примеров изображения-источника и изображения-цели.

Что-то похожее на новый алгоритм в декабре [представили](https://nplus1.ru/news/2018/12/10/wake-up?ref=admin.kod.ru) американские разработчики: их модель может оживлять статичные изображения человека целиком, заставляя его выбегать за пределы кадра.

*Елизавета Ивтушок* [*Источник*](https://nplus1.ru/news/2019/05/22/talking-heads?utm%5Fsource=yxnews&utm%5Fmedium=desktop)