Новая технология способна превращать фотографию в видео
Некоторые фотографии только выиграют, если в них появится движение. Например, если на снимке Ниагарского водопада будут стремительно падать потоки воды. Специалисты из США разработали метод глубокого обучения, позволяющий добиться именно этого - реалистичных закольцованных видеоизображений без заметных глазу стыков.
Метод, созданный в Университете Вашингтона, анимирует любую текучий объект, в частности воду, облака или дым. В итоге получается короткое видео, закольцованное без швов и создающее впечатление бесконечного движения. Ученые представят свое изобретение на международной Конференции по компьютерному зрению и распознаванию паттернов 22 июня в Сиэтле, пишет Science Daily.
Особенность этого метода в том, что он не требует никаких дополнительных данных или действий со стороны пользователя, пояснили разработчики. Все, что нужно - это изображение. При этом конечный результат имеет высокое разрешение, так что картинка получается фотореалистичной.
Такая система требует прогнозирования будущего. Это происходит в два этапа: сначала она предсказывает, как могли бы двигаться объекты на фотографии, а затем использует эту информацию для создания анимации. Для анализа движения разработчики обучили нейронную сеть на тысячах видео с водопадами, реками, океанами и прочими текучими субстанциями.
Движение потока на фотографии они обеспечили за счет метода «сплаттинга» (splatting), который перемещает каждый пиксель согласно прогнозу. Однако здесь возникли проблемы: когда все пиксели сдвинулись вниз, например, в случае водопада, ничего не осталось наверху. Поэтому исследователи разработали метод «симметрического сплаттинга», который предсказывает движение и вперед, и назад во времени.
Лучше всего метод работает с предсказуемыми текучими объектами - водой, дымом или огнем. Теми типами движения, которые подчиняются одинаковым физическим законам. В дальнейшем разработчики собираются распространить свой метод на другие объекты - например, анимировать волосы, которые колышет ветер.