Инженеры Nvidia под руководством Брайана Катандзаро разработали нейросеть для переформатирования одного типа видео в другое. Полное описание технологии опубликовано на сайте arXiv.org.
Нейросеть сможет анализировать соседние кадры — это позволит создавать стабильную картинку и последовательность изображений в ролике. С ее помощью видеографы могут ролик с моделью лица превратить в видео с фотореалистичным изображением двигающегося человека.
Технология анализирует текущий и рядомстоящие кадры, а также картинки из второго видео. После этого алгоритм рассчитывает оптический поток на основе кадров и создает маску деформации для последнего кадра. И только тогда нейросеть создает первый кадр — часть пикселей в котором созданы с помощью деформации предыдущего кадра, а другая часть — разработана алгоритмом.
Источник: hightech.fm